集中式存储
所谓集中式系统就是指由一台或多台主计算机组成中心节点,数据集中存储于这个中心节点中,并且整个系统的所有业务单元都集中
部署在这个中心节点上,系统所有的功能均由其集中处理。也就是说,集中式系统中,每个终端或客户端仅仅负责 数据的录入和
输出,而数据的存储与控制处理完全交由主机来完成。
集中式系统最大的特点就是部署结构简单,由于集中式系统往往基于底层性能卓越的大型主机,因此无需考虑如何对服务进行多个节
点的部署,也就不用考虑多个节点之间的分布式协作问题。
分布式存储
分布式系统如何定义？这里引用一下Distributed Systems Concepts and Design(Third Edition)中的一句话："A distributed system is one in which components located at networked computers communicate and coordinate their actions only by passing messages"。从这句话里面
我们可以看到几个重点：
1、组件分布在网络计算机上
2、组件之间仅仅通过消息传递来通信并协调行动
严格讲,同一个分布式系统中的计算机在空间部署上是可以随意分布的,这些计算机可能被放在不同的机柜上,也可能在不同的机房中
甚至分布在不同的城市。无论如何,一个标准的分布式系统在没有任何特定业务逻辑约束的情况下,都会有以下几个特征：
1)、分布性
分布式系统中的多台计算机都会在空间上随意分布,同时,及其的分布情况也会随时变动
2)、对等性
分布式系统中的计算机没有主/从之分,既没有控制整个系统的主机,也没有被控制的从机,组成分布式系统的所有节点都是对等的。副
本（Replica）是分布式系统最常见的概念之一,指的是分布式系统对数据和服务提供的一种冗余方式。在 常见的分布式系统中,为了对
外提高可用的服务,我们往往会对数据和服务进行副本处理。数据副本是指在不同的节点上持久化同一份数据,当某一个节点上存储的
数据丢失时,可以从副本上读取到该数据,这是解决分布式系统数据丢失问题最为有效的手段。另一类副本是服务副本,指多个节点提
供同样的服务,每个节点都有 能力接收来自外部的请求并进行相应的处理
3)、并发性
在一个计算机网络中,程序运行过程中的并发性操作是非常常见的行为,例如同一个分布式系统的多个节点,可能会并发地操作一些共享
的资源,诸如数据库或分布式存储等,如何准确并高效地协调分布式并发操作也成为了分布式系统架构与设计中最大的挑战之一
4)、缺乏全局时钟
一个典型的分布式系统是由一系列空间上随意分布的多个进程组成的,具有明显的分布性,这些进程之间通过交换消息来进行相互通信。
因此,在分布式系统中,很难定义两个事件究竟谁先谁后,原因就是因为分布式系统缺乏一个全局的时钟控制序列
5)、故障总是会发生
组成分布式系统的所有计算机,都有可能发生任何形式的故障。
一个被大量工程实践过的黄金定理是：任何在设计阶段考虑到的异常情况一定会在系统实际运行中发生,并且,在系统实际运行中还会遇到很多在设计时未考虑到的异常故障。所以,除非需求指标允许,在系统设计时不能放过任何异常情况
6)、处理单点故障
在整个分布式系统中,如果某个角色或者功能只有某台单机在支撑,那么这个节点称为单点,其发生的故障称为单点故障,也就是通常说的
SPoF（Single Point of Failure）,避免单点故障的关键就是把这个功能从单机实现变为集群实现,当然,这种变化一般会比较困难,否则就
不会有单点问题了。如果不能把单点变为集群实现,那么一般还有两种选择：
（1）给这个单点做好备份,能够在出现问题时进行恢复,并且尽量做到自动恢复
（2）降低单点故障的影响范围
以下来自百度:
分布式存储是一种数据存储技术,通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,
数据分散的存储在企业的各个角落.
分布式系统的意义
从单机单用户到单机多用户,再到现在的网络时代,应用系统发生了很多的变化。而分布式系统依然是目前很热门的讨论话题,那么,分布
式系统给我们带来了什么,或者说是为什么要有分布式系统呢？从三方面考虑：
1、升级单机处理能力的性价比越来越低
摩尔定律：当价格不变时,每隔18个月,集成电路上可容纳的晶体管数目会增加一倍,性能也将提升一倍。这个定律告诉我们,随着时间
的推移,单位成本的支出所能购买的计算机能力在提升。不过,如果我们把时间固定下来 ,也就是固定在某个具体时间点来购买单颗不同
型号的处理器,那么所购买的处理器性能越高,所要付出的成本就越高,性价比就越低。那么,也就是说在一个确定的时间点,通过更换
硬件做垂直扩展的方式来提升性能会越来越不划算
2、单机处理能力存在瓶颈
某个固定时间点,单颗处理器有自己的性能瓶颈,也就说即使愿意花更多的钱去买计算能力也买不到了
3、出于稳定性和可用性的考虑
如果采用单击系统,那么在这台机器正常的时候一切OK,一旦出问题,那么系统就完全不能用了。当然,可以考虑做容灾备份等方案,而
这些方案就会让系统演变为分布式系统了,传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
主流分布式存储对比
普通存储方案：DAS(IDE/SATA/SAS/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件系统)、SAN(FibreChannel, iSCSI, FoE存储网络块),Openfiler、FreeNas(ZFS快照复制)
由于生产环境中往往由于对存储数据量很大,而SAN存储价格又比较昂贵,因此大多会选择分布式存储来解决以下问题：
1. 海量数据存储问题
2. 数据高可用问题(冗余备份)问题
3. 较高的读写性能和负载均衡问题
4. 支持多平台多语言问题
5. 高并发问题
主流分布式存储对比：
主流分布式存储介绍
开源协议说明
GPL: 不允许修改后和衍生的代码做为闭源的商业软件发布和销售,修改后该软件产品必须也采用GPL协议；
GPLV2：修改文本的整体就必须按照GPL流通,不仅该修改文本的源码必须向社会公开,而且对于这种修改文本的流通不准许附加
修改者自己作出的限制;
GPLV3：要求用户公布修改的源代码,还要求公布相关硬件;
LGPL：更宽松的GPL
TFS
TFS（Taobao File System）是由淘宝开发的一个分布式文件系统,其内部经过特殊的优化处理,适用于海量的小文件存储,目前
已经对外开源；
TFS采用自有的文件系统格式存储,因此需要专用的API接口去访问,目前官方提供的客户端版本有：C++/JAVA/PHP。
特性
1）在TFS文件系统中,NameServer负责管理文件元数据,通过HA机制实现主备热切换,由于所有元数据都是在内存中,其处理效
率非常高效,系统架构也非常简单,管理也很方便；
2）TFS的DataServer作为分部署数据存储节点,同时也具备负载均衡和冗余备份的功能,由于采用自有的文件系统,对小文件会采
取合并策略,减少数据碎片,从而提升IO性能；
3）TFS将元数据信息（BlockID、FileID）直接映射至文件名中,这一设计大大降低了存储元数据的内存空间；
优点
1）针对小文件量身定做,随机IO性能比较高；
2）支持在线扩容机制,增强系统的可扩展性；
3）实现了软RAID,增强系统的并发处理能力及数据容错恢复能力；
4）支持主备热切换,提升系统的可用性；
5）支持主从集群部署,其中从集群主要提供读/备功能；
缺点
1）TFS只对小文件做优化,不适合大文件的存储；
2）不支持POSIX通用接口访问,通用性较低；
3）不支持自定义目录结构,及文件权限控制；
4）通过API下载,存在单点的性能瓶颈；
5）官方文档非常少,学习成本高；
应用场景
1）多集群部署的应用
2）存储后基本不做改动
3）海量小型文件
根据目前官方提供的材料,对单个集群节点,存储节点在1000台以内可以良好工作,如存储节点扩大可能会出现NameServer的性能
瓶颈,目前淘宝线上部署容量已达到1800TB规模（2009年数据）
源代码路径：http://code.taobao.org/p/tfs/src/
FastDFS
FastDFS是国人开发的一款分布式文件系统,目前社区比较活跃。系统中存在三种节点：Client、Tracker、Storage,在底
层存储上通过逻辑的分组概念,使得通过在同组内配置多个Storage,从而实现软RAID10,提升并发IO的性能、简单负载均衡及数据的
冗余备份；同时通过线性的添加新的逻辑存储组,从容实现存储容量的线性扩容。
文件下载上,除了支持通过API方式,目前还提供了apache和nginx的插件支持,同时也可以不使用对应的插件,直接以Web静态资源
方式对外提供下载。
目前FastDFS(V4.x)代码量大概6w多行,内部的网络模型使用比较成熟的libevent三方库,具备高并发的处理能力。
特性
1）在上述介绍中Tracker服务器是整个系统的核心枢纽,其完成了访问调度（负载均衡）,监控管理Storage服务器,由此可见Tracker
的作用至关重要,也就增加了系统的单点故障,为此FastDFS支持多个备用的Tracker,虽然实际测试发现备用Tracker运行不是非常
完美,但还是能保证系统可用。
2）在文件同步上,只有同组的Storage才做同步,由文件所在的源Storage服务器push至其它Storage服务器,目前同步是采用Binlog方式
实现,由于目前底层对同步后的文件不做正确性校验,因此这种同步方式仅适用单个集群点的局部内部网络,如果在公网上使用,
肯定会出现损坏文件的情况,需要自行添加文件校验机制。
3）支持主从文件,非常适合存在关联关系的图片,在存储方式上,FastDFS在主从文件ID上做取巧,完成了关联关系的存储。
优点
1）系统无需支持POSIX(可移植操作系统),降低了系统的复杂度,处理效率更高
2）支持在线扩容机制,增强系统的可扩展性
3）实现了软RAID,增强系统的并发处理能力及数据容错恢复能力
4）支持主从文件,支持自定义扩展名
5）主备Tracker服务,增强系统的可用性
缺点
1）不支持断点续传,对大文件将是噩梦（FastDFS不适合大文件存储）
2）不支持POSIX通用接口访问,通用性较低
3）对跨公网的文件同步,存在较大延迟,需要应用做相应的容错策略
4）同步机制不支持文件正确性校验,降低了系统的可用性
5）通过API下载,存在单点的性能瓶颈
应用场景
1）单集群部署的应用
2）存储后基本不做改动
3）小中型文件根据
目前官方提供的材料,现有的使用FastDFS系统存储容量已经达到900T,物理机器已经达到100台（50个组）
MooseFS
MooseFS是一个高可用的故障容错分布式文件系统,它支持通过FUSE方式将文件挂载操作,同时其提供的web管理界面非常方便
查看当前的文件存储状态。
特性
1）从下图中我们可以看到MooseFS文件系统由四部分组成：Managing Server 、Data Server 、Metadata Backup Server 及Client
2）其中所有的元数据都是由Managing Server管理,为了提高整个系统的可用性,MetadataBackup Server记录文件元数据操作日
志,用于数据的及时恢复
3）Data Server可以分布式部署,存储的数据是以块的方式分布至各存储节点的,因此提升了系统的整体性能,同时Data Server
提供了冗余备份的能力,提升系统的可靠性
4）Client通过FUSE方式挂载,提供了类似POSIX的访问方式,从而降低了Client端的开发难度,增强系统的通用性
元数据服务器（master）:负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复
元数据日志服务器（metalogger）:负责备份master服务器的变化日志文件,以便于在master server出问题的时候接替其进行工作
数据存储服务器（chunkserver）:数据实际存储的地方,由多个物理服务器组成,负责连接管理服务器,听从管理服务器调度,提
供存储空间,并为客户提供数据传输；多节点拷贝;在数据存储目录,看不见实际的数据
优点
1）部署安装非常简单,管理方便
2）支持在线扩容机制,增强系统的可扩展性
3）实现了软RAID,增强系统的 并发处理能力及数据容错恢复能力
4）数据恢复比较容易,增强系统的可用性5）有回收站功能,方便业务定制
缺点
1）存在单点性能瓶颈及单点故障
2）MFS Master节点很消耗内存
3）对于小于64KB的文件,存储利用率较低
应用场景
1）单集群部署的应用
2）中、大型文件
GlusterFS
GlusterFS是Red Hat旗下的一款开源分布式文件系统,它具备高扩展、高可用及高性能等特性,由于其无元数据服务器的设计,
使其真正实现了线性的扩展能力,使存储总容量可轻松达到PB级别,支持数千客户端并发访问；对跨集群,其强大的Geo-Replication
可以实现集群间数据镜像,而且是支持链式复制,这非常适用于垮集群的应用场景
特性
1）目前GlusterFS支持FUSE方式挂载,可以通过标准的NFS/SMB/CIFS协议像访问本体文件一样访问文件系统,同时其也支持
HTTP/FTP/GlusterFS访问,同时最新版本支持接入Amazon的AWS系统
2）GlusterFS系统通过基于SSH的命令行管理界面,可以远程添加、删除存储节点,也可以监控当前存储节点的使用状态
3）GlusterFS支持集群节点中存储虚拟卷的扩容动态扩容；同时在分布式冗余模式下,具备自愈管理功能,在Geo冗余模式下,文件
支持断点续传、异步传输及增量传送等特点
优点
1）系统支持POSIX(可移植操作系统),支持FUSE挂载通过多种协议访问,通用性比较高
2）支持在线扩容机制,增强系统的可扩展性
3）实现了软RAID,增强系统的 并发处理能力及数据容错恢复能力
4）强大的命令行管理,降低学习、部署成本
5）支持整个集群镜像拷贝,方便根据业务压力,增加集群节点
6）官方资料文档专业化,该文件系统由Red Hat企业级做维护,版本质量有保障
缺点
1）通用性越强,其跨越的层次就越多,影响其IO处理效率
2）频繁读写下,会产生垃圾文件,占用磁盘空间
应用场景
1）多集群部署的应用
2）中大型文件根据目前官方提供的材料,现有的使用GlusterFS系统存储容量可轻松达到PB
术语：
brick：分配到卷上的文件系统块；
client：挂载卷,并对外提供服务；
server：实际文件存储的地方；
subvolume：被转换过的文件系统块；
volume：最终转换后的文件系统卷。
Ceph
Ceph是一个可以按对象/块/文件方式存储的开源分布式文件系统,其设计之初,就将单点故障作为首先要解决的问题,
因此该系统具备高可用性、高性能及可扩展等特点。该文件系统支持目前还处于试验阶段的高性能文件系统BTRFS(B-Tree
文件系统),同时支持按OSD方式存储,因此其性能是很卓越的, 因为该系统处于试商用阶段,需谨慎引入到生产环境
特性
1）Ceph底层存储是基于RADOS（可靠的、自动的分布式对象存储）,它提供了LIBRADOS/RADOSGW/RBD/CEPHFS方式
访问底层的存储系统
2）通过FUSE,Ceph支持类似的POSIX访问方式；Ceph分布式系统中最关键的MDS节点是可以部署多台,无单点故障的
问题,且处理性能大大提升
3）Ceph通过使用CRUSH算法动态完成文件inode number到object number的转换,从而避免再存储文件metadata信息,
增强系统的灵活性
优点
1）支持对象存储（OSD）集群,通过CRUSH算法,完成文件动态定位, 处理效率更高
2）支持通过FUSE方式挂载,降低客户端的开发成本,通用性高
3）支持分布式的MDS/MON,无单点故障
4）强大的容错处理和自愈能力
5）支持在线扩容和冗余备份,增强系统的可靠性
缺点
1）目前处于试验阶段,系统稳定性有待考究
应用场景
1）全网分布式部署的应用
2）对实时性、可靠性要求比较高. 官方宣传,存储容量可轻松达到PB级别
