分布式存储docker 分布式存储软件

转载

mob64ca140f29e5 2024-03-04 07:16:21

文章标签 分布式存储docker FastDFS 分布式文件系统 Tracker Storage 文章分类 Docker 云计算

一、分布式文件系统

二、FastDFS简介

三、FastDFS整体架构

四、文件上传流程　

五、文件下载流程

六、文件删除流程

七、文件同步机制

八、总结

一、分布式文件系统

分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群，这些服务器都用于存储文件资源，通过分布式文件系统来管理这些服务器上的文件。

常见的分布式文件系统有：FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等。

二、FastDFS简介

FastDFS是一个开源的轻量级分布式文件系统，为互联网应用量身定做，简单，灵活，高效，采用C语言开发，由阿里巴巴开发并开源。

FastDFS主要对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题，特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS充分考虑了冗余备份、线性扩容等机制，并注重高可用，高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS的GitHub地址：https://github.com/happyfish100/fastdfs

FastDFS由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。

传统的文件存储：

分布式存储docker 分布式存储软件_Tracker

缺点：

1. 所有的文件都存放在一台机器上，如果发生宕机，那么文件服务直接不可用；
2. 如果该服务器磁盘发生损坏，那么可能会出现文件丢失的情况；
3. 一台服务器的容量有限，很容易达到磁盘上限，导致文件不能上传；

分布式文件存储：

分布式存储docker 分布式存储软件_FastDFS_02

优点：

解决了传统方式的单点故障问题；
如果某个节点发生故障，还有其他节点可以用来读取和写入文件；
可以提供数据备份，避免因为磁盘损坏导致的文件丢失；
可以提供扩容机制，无限增加文件存放的空间上限；

三、FastDFS整体架构

FastDFS文件系统由两大部分构成，一个是客户端，一个是服务端。

客户端通常指我们的程序，比如我们的Java程序去连接FastDFS、操作FastDFS，那我们的Java程序就是一个客户端，FastDFS提供专有API访问，目前提供了C、Java和PHP几种编程语言的API，用来访问FastDFS文件系统。

服务端由两个部分构成：一个是跟踪服务器(Tracker server)，一个是存储服务器(Storage server)。客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。

　　Tracker server作用：负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务，Tracker Server负责管理所有的storage server和group，每个storage在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。多个Tracker之间是对等关系，不存在单点故障。
　　Storage server作用：文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。Storage Server可以分为多个group组( 卷1、卷2、卷n )，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。

一个完整的集群版FastDFS架构组成大体如下图：

分布式存储docker 分布式存储软件_FastDFS_03