一. FastDFS介绍

  • 用c语言编写的一款开源的轻量级分布式文件系统。
  • 功能包括：文件存储、文件访问（文件上传、文件下载）、文件同步等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
  • 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。
  • 可以帮助我们搭建一套高性能的文件服务器集群，并提供文件上传、下载等服务。

1、FastDFS架构 

包括Client、Tracker server和Storage server。

  • Client请求Tracker进行文件上传、下载，Tracker再调度Storage完成文件上传和下载。
  • Client： 客户端，业务请求的发起方，通过专有接口，使用TCP/IP协议与Tracker或Storage进行数据交互。FastDFS提供了upload、download、delete等接口供客户端使用。
  • Tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。
  • Storage server：存储服务器（存储节点或数据服务器），文件和文件属性都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。
  • Storage群中的横向可以扩容，纵向可以备份。

2. FastDFS上传和下载流程

上传：

1、Storage Server 定时向 Tracker Server 上传状态信息

2、Client 上传链接请求到Storage Server

3、Tracker Server查询可用 storage

4、Tracker Server返回给客户端可用的Storage的IP和端口

5、Client 上传文件到 Storage Server

6、Storage Server生成 file_id

7、Storage Server 将上传内容写入磁盘

8、Storage Server 返回 file_id （包含路径信息和文件名）给Client

9、Client 存储文件信息

下载：

1、Storage Server 定时向 Tracker Server 上传状态信息

2、Client 下载链接请求到Storage Server

3、Tracker Server查询可用 storage

4、Tracker Server返回给客户端可用的Storage的IP和端口

5、发送file_id(包含组名、路径、文件名）到Storage Server

6、Storage Server根据file_id查找文件

7、Storage Server返回file_content给Client

 

3. FastDFS文件索引

  • FastDFS上传和下载流程 可以看出都涉及到一个数据叫文件索引（file_id）。
  • 文件索引（file_id）是客户端上传文件后Storage返回给客户端的一个字符串，是以后访问该文件的索引信息。
  • 文件索引（file_id）信息包括：组名、虚拟磁盘路径、数据两级目录、文件名等信息。
  • 组名：文件上传后所在的 Storage 组名称。
  • 虚拟磁盘路径：Storage 配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path0则是M00，如果配置了store_path1则是M01，以此类推。
  • 数据两级目录：Storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。
  • 文件名：由存储服务器根据特定信息生成，文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。