FastDFS架构包括Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传和下载。
Tracker server作用是负载均衡和调度,通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。
Storage server作用是文件存储,客户端上传的文件最终存储在Storage服务器上,Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器。
1.依赖环境下载
系统: vagrant(centos7)
yum install -y gcc-c++ #需要依赖gcc
yum install -y pcre #用于支持rewrite模块 pcre-8.32-17
yum install -y libevent #FastDFS依赖libevent库 libevent-2.0.21-4.el7.x86_64
yum install -y zlib zlib-devel #用于支持gzip模块 zlib-1.2.7-17.el7.x86_64
libfastcommon-master.zip #libfastcommon包含了FastDFS运行所需要的一些基础库https://github.com/happyfish100/libfastcommon/releases
fastdfs-nginx-module-master.zip # https://codeload.github.com/happyfish100/fastdfs-nginx-module/zip/master
FastDFS版本:fastdfs-5.11.zip #https://github.com/happyfish100/fastdfs/archive/V5.11.zip
Nginx版本:nginx-1.14.tar.gz : #官网下载: http://nginx.org/en/download.html
注意:fastdfs-5.11版本对应的fastdfs-nginx-module版本为1.2.0
2.安装libfastcommon
unzip libfastcommon-1.0.39.zip
mv libfastcommon-1.0.39 /usr/local/libfastcommon
cd /usr/local/libfastcommon/
./make.sh #编译
./make.sh install #安装
# 检查确认/usr/lib64 和 /usr/lib 目录下都生成了 libfastcommon.so (有些版本可能/usr/lib下不会生成)
ls /usr/lib64 | grep libfastcommon.so
ls /usr/lib | grep libfastcommon.so
3.安装tracker
cd /download
unzip fastdfs-5.11.zip
mv fastdfs-5.11 /usr/local/FastDFS
cd /usr/local/FastDFS/
./make.sh && ./make.sh install #编译之后接着进行安装
#确认安装成功,没有报错后,拷贝配置文件到/etc/fdfs
cp /usr/local/FastDFS/conf/* /etc/fdfs/
#,进入/etc/fdfs 目录, 如果没有tracker.conf就拷贝一份tracker.conf.sample 去掉sample
cp tracker.conf.sample track.conf
#配置tracker.conf
vim track.conf # 修改以下配置
#===============
base_path=/home/fastdfs #基础目录,以后的data 和日志目录都会放在此目录下
http.server_port=80 #配置http服务端口,这个端口跟后面nginx的监听端口对应
mkdir /home/fastdfs
#启动tracker,运行如下命令
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
#检查是否启动成功:默认端口22122
ps -ef | grep fdfs
#检查/home/fastdfs下是否生成data / logs 两个目录
ls /home/fastdfs/
4.安装storage
cd /etc/fdfs
#如果没有storage.conf 拷贝一份storage.conf.sample 命名为storage.conf
cp storage.conf.sample storage.conf
#配置storage.conf
vi storage.conf #修改如下配置
#===========================
group_name=group1 #配置组名,同一个组的storage 互为备份
base_path=/home/fastdfs #基础目录
#store存放文件的位置(store_path), 可以配置多个, 记得创建路径
store_path0=/home/fdfs_storage
#如果有多个挂载磁盘则定义多个store_path,如下
#store_path1=.....
#store_path2=......
#配置tracker服务器:IP,阿里云服务器如果需要外部访问请配置公网ip, 不要使用私有ip
tracker_server=192.168.33.111:22122
#如果有多个tracker则配置多个tracker
#tracker_server=192.168.33.112:22122
#配置http端口
http.server_port=80
#==========完===========
#创建 /home/fdfs_storage 目录
mkdir -p /home/fdfs_storage
#启动storage
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
#查看启动是否成功
fdfs_monitor /etc/fdfs/storage.conf #查看fdfs状态
ps -ef | grep fdfs
#查看目录是否创建,/home/fdfs_storage/data 应该会自动生成256个文件夹
ls /home/fdfs_storage/data
5.测试上传文件
cd /etc/fdfs
cp client.conf.sample client.conf
vim client.conf #修改如下配置
#=================
base_path=/home/fastdfs
tracker_server=192.168.33.111:22122
#=======完========
#准备一张图片进行测试
/usr/bin/fdfs_test /etc/fdfs/client.conf upload /download/fengjing.jpg
#一切正常的话会返回图片地址等信息
example file url: http://192.168.33.111/group1/M00/00/00/wKghb1vqf7GAIdYqAAJo1aj_C9s003_big.jpg
#检查文件是否存在(文件名被存放在/home/fdfs_storage/data/00/00对应的目录中),如果存在即是保存 OK,此时还无法使用http下载
cd /home/fdfs_storage/data/00/00 #查看是否存在wKghb1vqf7GAIdYqAAJo1aj_C9s003_big.jpg
6.FastDFS 和Nginx整合
#解压 fastdfs-nginx-module 到 /usr/local目录下;
cd /download
unzip fastdfs-nginx-module-master.zip
mv fastdfs-nginx-module-master /usr/local/fastdfs-nginx-module
cd /usr/local/fastdfs-nginx-module/src
#修改config文件
# 将文件中的所有 /usr/local/ 路径改为 /usr/ ,
#如果后面步骤中编译nginx报错把下面两项做以下修改
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
#拷贝配置文件到/etc/fdfs
cp mod_fastdfs.conf /etc/fdfs/
#修改 /etc/fdfs/mod_fastdfs.conf ;
vi /etc/fdfs/mod_fastdfs.conf
#======修改以下内容========
base_path=/home/fastdfs #保存日志的路径
tracker_server=192.168.33.111:22122 #track_server配置的服务端口
url_have_group_name=true #url中是否包含group名称
store_path0=/home/fdfs_storage #指定文件存储路径(必须和storage.conf配置相同)
ls /usr/lib | grep libfdfsclient.so
ls /usr/lib64 | grep libfdfsclient.so
mkdir -p /var/temp/nginx/client
tar -zxvf nginx-1.14.0.tar.gz -C /usr/local/
#进入解压目录, 日志目录可自己定义,主要是add-modoule
cd /usr/local/nginx-1.14.0
#添加模块
./configure \
--prefix=/usr/local/nginx \
--add-module=/usr/local/fastdfs-nginx-module/src
#在nginx1.14.0目录下执行
make && make install
vi /usr/local/nginx/conf/nginx.conf
#======添加配置===========
server {
listen 80;
server_name 192.168.33.111;
location /group1/M00/ {
root /home/fdfs_storage/data;
ngx_fastdfs_module;
}
}
/usr/local/nginx/sbin/nginx
#检查是否启动成功,不成功就去查看错误日志/var/log/nginx/error.log
ps -ef | grep nginx
systemctl stop firewalld.service
/usr/bin/fdfs_test /etc/fdfs/client.conf upload /download/123.jpg
example file url: http://192.168.33.111/group1/M00/00/00/wKghb1vqf7GAIdYqAAJo1aj_C9s003_big.jpg
http://1192.168.33.111/group1/M00/00/00/wKghb1vqf7GAIdYqAAJo1aj_C9s003_big.jpg
#查看nginx 日志可以看到访问记录
tail -f -n 100 /var/log/nginx/access.log
7.项目中如何使用fastdfs
<dependency>
<groupId>net.oschina.zcx7878</groupId>
<artifactId>fastdfs-client-java</artifactId>
<version>1.27.0.0</version>
</dependency>
配置文件: fdfs.conf
# 连接tracker服务器超时时长
connect_timeout = 10
# socket连接超时时长
network_timeout = 30
# 文件内容编码
charset = UTF-8
# tracker服务器端口
http.tracker_http_port = 80
http.anti_steal_token = no
#密码
http.secret_key = 123456
# tracker服务器IP和端口(可以写多个)
tracker_server = 192.168.33.111:22122
package com.zc;
import org.csource.fastdfs.*;
public class FastdfsTest {
public static void main(String[] args) throws Exception {
//1、把FastDFS提供的jar包添加到工程中
//2、初始化全局配置。加载一个配置文件。
ClientGlobal.init("fdfs.conf");
//3、创建一个TrackerClient对象。
TrackerClient trackerClient = new TrackerClient();
//4、创建一个TrackerServer对象。
TrackerServer trackerServer = trackerClient.getConnection();
//5、声明一个StorageServer对象,null。
StorageServer storageServer = null;
//6、获得StorageClient对象。
StorageClient storageClient = new StorageClient(trackerServer, storageServer);
//7、直接调用StorageClient对象方法上传文件即可。
String[] result = storageClient.upload_file("/Users/zc21/Downloads/img.jpg", "jpg", null);
StringBuilder sb = new StringBuilder("http://192.168.33.111/");
sb.append(result[0]).append("/").append(result[1]);
System.out.println("图片访问地址: " + sb.toString());
}
}