导读前一段时间研究了一下分布式块存储Longhorn这个项目，Longhorn是完全基于K8s实现的分布式块存储，最大的特性就是他通过以微服务的方式（engine_instance+replicas）来提供存储服务，所以可用性极高。但本质还是通过iscsi把存储目录映射为一个盘挂到节点上然后再mount给容器使用，所以运行效率本身不太高，看到网上说的要比nfs可能要好一点，但是肯定是比不上本地磁盘
转载
2024-03-25 10:49:37
126阅读
分布式包含计算和存储两部分，计算主要指编程实现的功能，存储呢？我画了一张图简要说明。对于中小企业应该还有绝大部分单位做不到分布式，数据存储还是采用单体库，最多把业务库拆出来，从而出现瓶颈发展受限。一旦出问题才去解决代价无疑是巨大的，因为这种模式的技术升级很难做到，首先分布式需要的相关技术极大可能是当 ...
转载
2021-08-20 13:06:00
299阅读
2评论
分布式存储系统面临的需求比较复杂，大致可以分为三类：非结构化数据：包括所有格式的办公文档、文本、图片、图像、音频、视频信息等。结构化数据：一般会存储在关系型数据库中，可用二位关系的表结构来对数据进行描述，数据的模式需要预先进行定义。半结构化数据：介于结构化数据和半结构化数据直接，HTML文档就属于半结构化数据。它一般是自描述的，与结构化数据的最大区别之处在于，半结构化的数据模式和内容混在一起，没有
转载
2023-11-19 17:21:39
124阅读
分布式存储（Distributed Storage）是指一种能够在多个物理设备上存储数据的存储系统。而NAS（Network Attached Storage）则是一种专为网络存储而设计的设备，通过网络提供文件服务给多个客户端。在Kubernetes环境下，我们也可以实现分布式存储NAS存储，从而更好地管理和存储大量数据。
整个过程可以分为以下几个步骤：
| 步骤 | 操作 |
| ---
原创
2024-05-28 11:03:29
124阅读
**实现分布式存储 对象存储**
作为一名开发者，你可能会遇到需要实现分布式存储和对象存储的情况。本文将为你介绍如何实现这两个关键概念。首先，让我们来了解一下整个过程的流程，并在接下来的内容中具体展示每个步骤需要做什么。
**流程**
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 安装分布式存储系统 |
| 2 | 配置分布式存储系统 |
| 3 | 使用对象
原创
2024-05-30 10:51:49
84阅读
在现代软件开发中，存储是一个非常重要的环节。对于存储方案的选择，传统存储和分布式存储是两种常见的方式。传统存储是指将数据存储在单一节点或者磁盘上，而分布式存储则是将数据分散存储在多个节点上，通过网络连接起来访问数据，具有更高的可靠性和容量扩展性。
在Kubernetes（简称K8S）这样一个容器管理平台中，我们通常会遇到对存储进行管理和选择的问题。本文将针对分布式存储和传统存储进行介绍，并给出相
原创
2024-05-27 10:17:05
78阅读
在Kubernetes（K8S）中实现分布式存储分层存储是一个常见的需求，可以通过PV（Persistent Volume）和PVC（Persistent Volume Claim）来实现。在这篇文章中，我将向你介绍如何在Kubernetes集群中实现分布式存储分层存储，并提供代码示例帮助你理解。首先，让我们先了解一下整个实现过程。
### 实现分布式存储分层存储的流程
| 步骤 | 操作 |
原创
2024-05-20 10:45:26
73阅读
分布式存储是指将数据分布存储在多台服务器上，通过网络连接将这些服务器连接起来，实现数据的高可靠性和高可扩展性。而块存储是将数据存储在一个连续的、固定大小的块中，可以在不同服务器之间共享和传输。
在Kubernetes中，我们可以使用分布式存储和块存储来存储应用程序的数据，确保数据的高可靠性和可扩展性。本文将介绍如何在Kubernetes中实现分布式存储和块存储，帮助新手开发者快速入门。
整个流
原创
2024-05-21 10:46:59
112阅读
什么是分布式数据存储系统分布式存储系统的核心逻辑，就是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器里获取。如下图所示，当用户（即应用程序）想要访问数据 D，分布式操作引擎通过一些映射方式，比如 Hash、一致性 Hash、数据范围分类等，将用户引导至数据 D 所属的存储节点获取数据。静下心来想一下，获取数据的整个过程与你到商店购物的过程是
转载
2024-04-29 12:57:16
118阅读
什么是分布式系统？ 简单来说，多台主机提供同一个服务，例如负载均衡集群，就是一个分布式系统。 什么是分布式存储？ 看看某宝，上面多少图片，如果使用传统的单机存储，需要准备多大的磁盘空间？读写性能如何提升？ 上图就是一个分布式存储的结构，此处存储节点不在是磁盘，而是多个主机组成，多个主机内部通信实现数据副本，客户端发来的请求发往前端，前端分发至后端，有点像负载均衡集群中的调度器（此处描述不精确，但便
转载
2023-10-16 21:44:56
171阅读
分布式存储Ceph1、Ceph简介Ceph使用C++语言开发，遵循LGPL协议开源。Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、备份和归档，支持对象存储和块存储以及文件系统存储应用。出现Ceph开源社区版本和Redhat企
转载
2023-12-27 14:43:41
113阅读
分布式文件存储1 FastDFS介绍FastDFS 是一个由 C 语言实现的开源轻量级分布式文件系统，作者余庆(happyfish100)，支持 Linux、FreeBSD、AID 等 Unix 系统，解决了大数据存储和读写负载均衡等问题，适合存储 4KB~500MB 之间的小文件，如图片网站、短视频网站、文档、app 下载站等，UC、京东、支付宝、迅雷、酷狗等都有使用。该软件作者是阿里巴巴大牛、
转载
2024-01-30 06:05:11
96阅读
大数据基础 1.什么是大数据 短时间内快速的产生海量的多种多样的有价值的数据 2.大数据技术 2.1 分布式存储 2.2 分布式计算 ① 分布式批处理（无法实现预测） 存一段时间的数据，等到将来某一时刻时再进行处理 ② 分布式流处理（实时处理）（无法实现预测） 数据不需要攒，直接处理，每产生一条数据，立马对这条数据进行处理。 2.3 机器学习 可以实现预测 3.分布式存储原理 3.1主要概念：元数
转载
2023-12-06 23:25:30
108阅读
Q: 现在领域内对于分布式存储的应用场景是否有比较明确的分类?比如冷热，快慢，大文件小文件之类的?分布式存储的应用场景相对于其存储接口，现在流行分为三种:1. 对象存储: 也就是通常意义的键值存储，其接口就是简单的GET,PUT，DEL和其他扩展，如七牛、又拍，Swift，S3、2. 块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在，这种接
转载
2024-05-09 22:08:42
148阅读
目录一、分布式文件系统二、FastDFS简介三、FastDFS整体架构四、文件上传流程 五、文件下载流程六、文件删除流程七、文件同步机制八、总结一、分布式文件系统分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存
转载
2024-03-04 07:16:21
53阅读
近日，IDC 发布《中国软件定义存储 (SDS) 及超融合存储 (HCI) 系统市场季度跟踪报告，2022 年第二季度》。
继星辰天合的对象存储多年稳居市场份额首位之后，在文件存储领域，星辰天合首次进入了中国市场主流供应商列表，位居第六，是唯一一家进入榜单的独立 SDS 厂商，也是榜单中唯一的创业型公司。
(XGFS 市场份额同比增长 56.3
转载
2023-11-20 22:49:32
98阅读
分布式存储和集中式存储的区别1、集中存储的物理介质集中布放，而分布存储物理介质分布到不同的地理位置。2、集中存储对机房环境要求高，要求机房空间大，而分布存储是小容量设备分布部署，所以对机房环境要求低。分布式和集中式存储的选择集中存储的优缺点是，物理介质集中布放;视频流上传到中心对机房环境要求高，要求机房空间大，承重、空调等都是需要考虑的问题。分布存储，集中管理的优缺点是，物理介质分布到不同的地理位
转载
2023-08-04 12:43:53
78阅读
以前不是特别明白列式存储和行式存储到底有什么区别，对于突然蹦出来的BigTable、HBase、Cassandra这些NoSQL数据库凭什么比MySQL集群，Oracle在分析存储上的强大？思来可以这样说说。A. 存储 传统RDBMS以行单位做数据存储（字段为空则赋值为‘NULL'），列式存储数据库以列为单位做数据存储。
转载
2024-06-04 13:21:02
72阅读
分布式存储是近年比较火的存储技术话题，但什么是分布式存储呢？相信大家都是一知半解，今天就给大家详细讲解一下什么是分布式存储。 其实，分布式存储最早是由谷歌提出的，其目的是通过廉价的服务器来解决大规模、高并发场景下的 Web 访问问题。它采用可扩展的系统结构，利用多台存储服务器分担
好久没写blog了，最近大脑不知怎么的，不在状态，什么都学不进去，什么都想不进去，不发牢骚了，进入正题~
software:FasDFS.1.12
OS:ubuntu server 7.10
测试机器
NAS1：192.168.1.2
NAS2：192.168.1.
原创
2008-11-17 13:44:06
2612阅读
点赞
4评论
