MFS服务器基本角色介绍
1、 元数据服务器(managing server ,习惯性叫它master)。在整个体系中负责管理管理文件系统,不管多少存储服务器,挂载时候使用的都是这台服务器的IP。
2、 元数据日志服务器(Metalogger server(Metalogger))。备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs。当元数据服务器数据丢失或者损毁，可从日志服务器取得文件进行恢复。
3、 数据存储服务器(chunkserver)。真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器chunkserver之间复制（复制份数可以手工指定，建议设置副本数为3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。
4、 客户端(client)。使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂接MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了。
安装与配置
1.元数据服务器:管理服务器Master
#useradd mfs -s /sbin/nologin
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
#make && make install
#chown -R mfs:mfs /usr/local/mfs
# cp mfsmaster.cfg.sample mfsmaster.cfg
# cp mfstopology.cfg.sample mfstopology.cfg
# cp mfsexports.cfg.sample mfsexports.cfg
加入
192.168.0.0/24 / rw,alldirs,maproot=0
#cd /usr/local/mfs/var/mfs
# cp metadata.mfs.empty metadata.mfs
启动: mfsmaster命令：/usr/local/mfs/sbin/mfsmaster start
停止： mfsmaster:/usr/local/mfs/sbin/mfsmaster stop
2.元数据日志服务器:Metalogger server
#useradd mfs -s /sbin/nologin
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
#make && make install
#chown -R mfs:mfs /usr/local/mfs # cp mfsmetalogger.cfg.sample mfsmetalogger.cfg
# vim mfsmetalogger.cfg
加入
# 元数据备份下载请求频率，设置为1小时；
META_DOWNLOAD_FREQ = 1
MASTER_RECONNECTION_DELAY = 5
MASTER_HOST = 192.168.0.220
MASTER_PORT = 9419
启动： # /usr/local/mfs/sbin/mfsmetalogger start
停止： # /usr/local/mfs/sbin/mfsmetalogger stop
3.存储:chunkservers(可多台)
#useradd mfs -s /sbin/nologin
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
#make && make install
#chown -R mfs:mfs /usr/local/mfs
# cp mfshdd.cfg.sample mfshdd.cfg
加入
/data/mfsdata
# cp mfschunkserver.cfg.sample mfschunkserver.cfg
加入
MASTER_HOST = 192.168.0.220
MASTER_PORT = 9420
启动： /usr/local/mfs/sbin/mfschunkserver start
停止： /usr/local/mfs/sbin/mfschunkserver stop
MFS Client安装与配置：
#yum -y install fuse fuse-devel
#useradd mfs -s /sbin/nologin
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --enable-mfsmount
#make && make install
#chown -R mfs:mfs /usr/local/mfs
#mkdir /mnt/mfs
#/usr/local/mfs/bin/mfsmount /mnt/mfs/ -H 192.168.0.220MFS启动顺序
1.管理服务器:Master
2.存储服务器:chunkservers
3.元日志服务器:mfsmetalogger
4.客户端挂载
关于副本(都是在客户机上操作):
设定副本个数命令:
# /usr/local/mfs/bin/mfssetgoal 2 /data/mnt/test
比如如果新增一台存储服务器(更改现有服务器副本数为3,并且新增文件副本数为3)
# /usr/local/mfs/bin/mfssetgoal -r 3 /data/mnt/test
查看副本命令:
# /usr/local/mfs/bin/mfsgetgoal -r /data/mnt/test
/data/mnt/test:
files with goal 2 : 1
directories with goal 2 : 1查看文件存储了几个副本:
# /usr/local/mfs/bin/mfsfileinfo /data/mnt/test/test.txt
/data/mnt/test/test.txt:
chunk 0: 0000000000000004_00000001 / (id:4 ver:1)
copy 1: 192.168.0.218:9422 (status:VALID)
copy 2: 192.168.0.220:9422 (status:VALID)关于灾难恢复
两种情况
1.Master日志还在
# cd /usr/local/mfs/var/mfs/
# /usr/local/mfs/sbin/mfsmetarestore -a
2.Master日志不在了
去元日志服务器,讲/usr/local/mfs/var/mfs/下的文件全部考过来,修改文件名
比如
# mv changelog_ml.1.mfs changelog.1.mfs
再执行
# /usr/local/mfs/sbin/mfsmetarestore -a关于安全性
mfs自带的web监听,功能相对简单,而且没有认证,所以我用apache加认证来代替mfs的web监听
这个需要cgi支持,让服务器上的Nginx支持cgi还有点麻烦,而且我还很懒,所以直接用apache了,我这里是yum安装的apache,一般默认就支持cgi了
# apachectl -M |grep cgi
cgi_module (shared)
Syntax OK
# vim httpd.conf
将这行取消注释
AddHandler cgi-script .cgi
创建带加密认证的虚拟主机
<VirtualHost *:9425>
DocumentRoot /usr/local/mfs/share/mfscgi
ServerName localhost
Alias /cgi-bin "/usr/local/mfs/share/mfscgi/"
ErrorLog logs/mfs-error_log
CustomLog logs/mfs-access_log common
<Directory "/usr/local/mfs/share/mfscgi">
AllowOverride None
Options ExecCGI
Order allow,deny
Allow from all
AuthName "Mfs access"
AuthType Basic
AuthUserFile /usr/local/mfs/share/mfscgi/.passwd
Require valid-user
</Directory>
</VirtualHost>
# pwd
/usr/local/mfs/share/mfscgi
# htpasswd -bc .passwd mfsuser mfspwd
第一次加-c是创建密码文件,如果再为mfs的web监听添加用户,直接-b就行了关闭自带监听
先关闭自带的web监听
# /usr/local/mfs/sbin/mfscgiserv stop
启动httpd配置的mfs监听
# /etc/init.d/httpd restart
