FastDFS相关知识
什么是FastDFS？
FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等。
FastDFS的角色：
Tracker server:Tracker server作为中心结点，其主要作用是负载均衡和调度。Tracker server在内存中记录分组和Storage server的状态等信息，不记录文件索引信息，占用的内存量很少。 Storage server:FastDFS中的Storage server主要的作用是存储文件，它直接利用OS的文件系统存储文件，FastDFS不对文件进行分块存储，
FastDFS的分组机制：
FastDFS采用了分组存储方式。集群由一个或多个组构成，集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成，同组内的多台Storage server之间是互备关系，同组存储服务器上的文件是完全一致的。文件上传、下载、删除等操作可以在组内任意一台Storage server上进行。一个组的存储容量为该组内存储服务器容量最小的那个。
FastDFS的角色关系：
FastDFS集群中的Tracker server也可以有多台，Tracker server和Storage server均不存在单点问题。Tracker server之间是对等关系，组内的Storage server之间也是对等关系。
Fastdfs的集群架构：
各角色间的消息传递：
客户端和Storage server主动连接Tracker server。Storage server主动向Tracker server报告其状态信息，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。Storage server会连接集群中所有的Tracker server，向他们报告自己的状态。一个组包含的Storage server不是通过配置文件设定的，而是通过Tracker server获取到的。
不同组的Storage server之间不会相互通信，同组内的Storage server之间会相互连接进行文件同步。
Storage server间的文件同步：
文件同步只在同组内的Storage server之间进行，采用push方式，即源头服务器同步给目标服务器，只同步源头数据，备份数据不同步。当新增加一台Storage server时，由已有的一台Storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。
Storage server采用binlog文件记录文件上传、删除等更新操作。binlog中只记录文件名，不记录文件内容。文件同步采用增量同步方式，系统记录已同步的位置（binlog文件偏移量）到标识文件中。
文件上传和下载的交互过程：
文件上传步骤：
1，Client询问Tracker server上传到的Storage server；
2，Tracker server返回一台可用的Storage server，返回的数据为该Storage server的IP地址和端口；
3，Client直接和该Storage server建立连接，进行文件上传，Storage server返回新生成的文件ID，文件上传结束。
文件下载步骤：
1，Client询问Tracker server可以下载指定文件的Storage server，参数为文件ID（包含组名和文件名）；
2，Tracker server返回一台可用的Storage server；
3，Client直接和该Storage server建立连接，完成文件下载。
FastDFS的文件ID：
客户端上传文件时，会返回一个FileID。文件ID不是由客户端指定，而是由Storage server生成后返回给客户端的。文件ID中包含了组名、文件相对路径和文件名，Storage server可以根据文件ID直接定位到文件。
FastDFS的扩容：
FastDFS的扩容分纵向扩容与横向扩容。纵向指在同一个group中增加服务器，实现数据冗余。横向指新增一个group，增加整个FastDFS的存储空间。
FastDFS的集群安装
实验环境：
硬件环境：
tracker:192.168.189.146
storage:192.168.189.145 (group1)
storage:192.168.189.144(group2)
软件环境：
libevent-2.0.18-stable
Fastdfs_V5.02
一：fastdfs的安装：---------tracker与storage一致。
1：下载libevent与fastdfs的安装包到服务器的/usr/local/src目录下:
2：安装libevent:
系统中的libevent版本较低，需删除，否则安装fastdfs时会报错： #rpm -e --nodeps ibevent-1.4.13-4.el6.x86_64 解压，安装libevent #cd/usr/local/src #tar -zxvf libevent-2.0.18-stable.tar.gz #cd cd libevent-2.0.18-stable #./configure --prefix=/usr/local/libevent #make && make install 关联libeven的库文件到系统（64位的系统就放到lib64下） #ln -s /usr/local/lib/libevent* /lib64/ 或 #ln -s /usr/local/libevent/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5
3：安装fastdfs：
解压，安装fastdfs #cd /usr/local/src && tar -zxvf FastDFS_v5.02.tar.gz #cd FastDFS_v5.02 编辑make.sh文件，修改编译选项 #vi make.sh TARGET_PREFIX=/usr/local/fastdfs TARGET_CONF_PATH=/usr/local/fastdfs/conf #./make.sh C_INCLUDE_PATH=/usr/local/libevent/includeLIBRARY_PATH=/usr/local/libevent/lib #./make.sh install
二：tracker与storage的配置：
1：配置tracker：192.168.189.146
#vi/usr/local/fastdfs/conf/tracker.conf disabled=false bind_addr=192.168.189.146 （不配置的话即绑定0.0.0.0） port=22122 base_path=/data/fastdfs （存放日志与数据路径） store_lookup=2 （指定上传文件的规则，2为平衡上传，文件上传至剩余空间大的组） store_group=group2 （store_lookup=1时才生效） use_storage_id = true （启用storage id 方便storage地址更换） storage_ids_filename = storage_ids.conf 复制storage_ids.conf到配置目录下，因为启用了storageid #cp -p /usr/local/src/FastDFS/conf/storage_ids.conf /usr/local/fastdfs/conf/ 编辑storage_ids.conf(若storage server的信息与文件里不符，storage server将无法启动) #vi/usr/local/fastdfs/conf/storage_ids.conf 100001 group1 192.168.189.145 100002 group2 192.168.189.144
2：配置storagegroup1：192.168.189.145
#vi /usr/local/fastdfs/conf/storage.conf disabled=false group_name=group1 （指定服务器所属的组） bind_addr=192.168.189.145 client_bind=true port=23000 base_path=/data/fastdfs （存放日志与数据） store_path0=/data/fastdfs/storage （数据存放路径，不配置就指定到base_path） tracker_server=192.168.189.146:22122 （指定tracker server） upload_priority=10 （上传优先级）
3：配置storagegroup2：192.168.189.144----配置同145
#vi /usr/local/fastdfs/conf/storage.conf disabled=false group_name=group2 bind_addr=192.168.189.144 client_bind=true port=23000 base_path=/data/fastdfs tracker_server=192.168.189.146:22122 upload_priority=10
三：启动tracker与storage：
Tracker(146): #/usr/local/fastdfs/bin/fdfs_trackerd/usr/local/fastdfs/conf/tracker.conf Storagegroup1(145): #/usr/local/fastdfs/bin/fdfs_storaged/usr/local/fastdfs/conf/storage.conf Storage group1(144): #/usr/local/fastdfs/bin/fdfs_storaged/usr/local/fastdfs/conf/storage.conf
四：测试：
1：测试tracker与storage的连接
#netstat -an | grep 22122
也可以用fastdfs自带的monitor工具查看storage信息：(使用client.conf)
#vi /usr/local/fastdfs/conf base_path=/data/fastdfs tracker_server=192.168.189.146:22122 #/usr/local/fastdfs/bin/fdfs_monitor/usr/local/fastdfs/conf/client.conf
2：测试文件上传：
可以看到文件上传到了group1的相关目录。
FastDFS可以到storage的存储目录下直接查找到相关的上传文件。
