上次的学习已经对glusterfs这个系统有了初步的认识，这次继续，上次只是简单的实现了一个类似NFS的配置，但这个并不是glusterfs出现的主要目的，而且也不是我们应用glusterfs的主要目的，我们要是实现的是分布式存储，另外一个最简单的想法就是，如何能把多台server目前空余的硬盘空间利用起来。这其实就是glusterfs最主要的功能之一，多存储空间的聚合。
个人感觉：
glusterfs感觉和moosefs有点类似，就是在备份的方面moosefs用的是创建副本的形式，而glusterfs用的是单独的一个空间来做交换，在下面的实验中就会得到体验
一.实验环境
目的：将两台server的剩余空间合并，让client挂载，所需3台服务器，两台server，一台client,IP分别为：
192.168.4.189----------------glusterfs_server01
192.168.4.190----------------glusterfs_server02
192.168.4.188----------------glusterfs_client
系统使用centos5.1，有个奇怪的问题是系统使用centos4.4的时候编译glusterfs的时候总报错，用centos5.1就没事，这问题还以待研究
目的：将两台server的剩余空间合并，让client挂载，所需3台服务器，两台server，一台client,IP分别为：
192.168.4.189----------------glusterfs_server01
192.168.4.190----------------glusterfs_server02
192.168.4.188----------------glusterfs_client
系统使用centos5.1，有个奇怪的问题是系统使用centos4.4的时候编译glusterfs的时候总报错，用centos5.1就没事，这问题还以待研究
二.安装
1.首先安装fuse
tar -zxvf fuse-2.7.4.tar.gz
cd fuse-2.7.4
./configure -enable-dependency-tracking -enable-kernel-module -enable-lib -enable-util
make && make isntall
1.首先安装fuse
tar -zxvf fuse-2.7.4.tar.gz
cd fuse-2.7.4
./configure -enable-dependency-tracking -enable-kernel-module -enable-lib -enable-util
make && make isntall
2.安装glusterfs
tar -zxvf glusterfs-2.0.0rc1.tar.gz
cd glusterfs-2.0.0rc1
./configure
make && make install
tar -zxvf glusterfs-2.0.0rc1.tar.gz
cd glusterfs-2.0.0rc1
./configure
make && make install
两台glusterfs_server和glusterfs_client端操作一样
三. 配置
gluster_server端的操作
gluster_server端的操作
1.gluster_server端服务器有一个单独的硬盘/dev/hdb,对/dev/hdb分区并mount到/disk上，执行chmod 777 /disk
两台server一样的操作
2.配置文件的修改
glusterfs_server01上：
mv glusterfs-server.vol.sample glusterfs-server.vol
vi /usr/local/etc/glusterfs/glusterfs-server.vol
修改后内容如下：
volume brick
type storage/posix
option directory /disk/export # Note: Once exported, DO NOT WRITE DIRECTLY TO THIS DIRECTORY
end-volume
两台server一样的操作
2.配置文件的修改
glusterfs_server01上：
mv glusterfs-server.vol.sample glusterfs-server.vol
vi /usr/local/etc/glusterfs/glusterfs-server.vol
修改后内容如下：
volume brick
type storage/posix
option directory /disk/export # Note: Once exported, DO NOT WRITE DIRECTLY TO THIS DIRECTORY
end-volume
volume brick-ns
type storage/posix
option directory /disk/export_ns
end-volume
type storage/posix
option directory /disk/export_ns
end-volume
volume server
type protocol/server
subvolumes brick brick-ns
option transport-type tcp/server # For TCP/IP transport
option auth.ip.brick.allow *
option auth.ip.brick-ns.allow *
end-volume
type protocol/server
subvolumes brick brick-ns
option transport-type tcp/server # For TCP/IP transport
option auth.ip.brick.allow *
option auth.ip.brick-ns.allow *
end-volume
glusterfs_server02上：
mv glusterfs-server.vol.sample glusterfs-server.vol
vi /usr/local/etc/glusterfs/glusterfs-server.vol
修改后内容如下：
volume brick
type storage/posix
option directory /disk/export # Note: Once exported, DO NOT WRITE DIRECTLY TO THIS DIRECTORY
end-volume
mv glusterfs-server.vol.sample glusterfs-server.vol
vi /usr/local/etc/glusterfs/glusterfs-server.vol
修改后内容如下：
volume brick
type storage/posix
option directory /disk/export # Note: Once exported, DO NOT WRITE DIRECTLY TO THIS DIRECTORY
end-volume
volume brick-ns
type storage/posix
option directory /disk/export_ns
end-volume
type storage/posix
option directory /disk/export_ns
end-volume
volume server
type protocol/server
subvolumes brick brick-ns
option transport-type tcp/server # For TCP/IP transport
option auth.ip.brick.allow *
option auth.ip.brick-ns.allow *
end-volume
type protocol/server
subvolumes brick brick-ns
option transport-type tcp/server # For TCP/IP transport
option auth.ip.brick.allow *
option auth.ip.brick-ns.allow *
end-volume
3.mkdir -p /disk/export
mkdir -p /disk/export_ns
两台server操作一样
mkdir -p /disk/export_ns
两台server操作一样
gluster_cliengt端的操作：
cd /usr/local/etc/glusterfs/
mv glusterfs-client.vol.sample glusterfs-client.vol
修改后的内容如下：
volume client1-ns
type protocol/client
option transport-type tcp/client
option remote-host 192.168.4.189
option remote-subvolume brick-ns
end-volume
mv glusterfs-client.vol.sample glusterfs-client.vol
修改后的内容如下：
volume client1-ns
type protocol/client
option transport-type tcp/client
option remote-host 192.168.4.189
option remote-subvolume brick-ns
end-volume
volume client1
type protocol/client
option transport-type tcp/client
option remote-host 192.168.4.189
option remote-subvolume brick
end-volume
type protocol/client
option transport-type tcp/client
option remote-host 192.168.4.189
option remote-subvolume brick
end-volume
volume client2
type protocol/client
option transport-type tcp/client
option remote-host 192.168.4.190
option remote-subvolume brick
end-volume
type protocol/client
option transport-type tcp/client
option remote-host 192.168.4.190
option remote-subvolume brick
end-volume
volume unify
type cluster/unify
subvolumes client1 client2
option namespace client1-ns
option scheduler rr
end-volume
type cluster/unify
subvolumes client1 client2
option namespace client1-ns
option scheduler rr
end-volume
四. 操作
glusterfs_server端的操作
1.glusterfsd -f /usr/local/etc/glusterfs/glusterfs-server.vol 启动server端
2.ps -ef | grep glusterfs 查看进程存在不存在
3.netstat -ln | grep 6996 查看端口是否监听
两台server一样
glusterfs_client端的操作
1.modprobe -i fuse 加载fuse模块
2.glusterfs -l /tmp/glusterfs.log -f /usr/local/etc/glusterfs/glusterfs-client.vol /mnt 挂载到/mnt上，同时可以查看 /tmp下的glusterfs.log日志
3.[root@glusterfs_client]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/hda1 8.5G 5.0G 3.2G 62% /
tmpfs 125M 0 125M 0% /dev/shm
glusterfs 6.0G 147M 5.5G 3% /mnt
看看/mnt的容量是不是两个server磁盘的总和，是的话就证明OK!!!
1.modprobe -i fuse 加载fuse模块
2.glusterfs -l /tmp/glusterfs.log -f /usr/local/etc/glusterfs/glusterfs-client.vol /mnt 挂载到/mnt上，同时可以查看 /tmp下的glusterfs.log日志
3.[root@glusterfs_client]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/hda1 8.5G 5.0G 3.2G 62% /
tmpfs 125M 0 125M 0% /dev/shm
glusterfs 6.0G 147M 5.5G 3% /mnt
看看/mnt的容量是不是两个server磁盘的总和，是的话就证明OK!!!
五. 测试
1.glusterfs_client端的/mnt目录下：
touch {1,2,3,4,5,6,7,8,9,10}
2.到glusterfs_server的/disk/export目录下ls
server01:
[root@glusterfs_server01 export]# ls
1 3 5 7 9
server02:
[root@glusterfs_server02 export]# ls
2 4 6 8 10
3.再到server01上的/disk/export_ns目录下ls
[root@glusterfs_client export_ns]# ls
1 10 2 3 4 5 6 7 8 9
由上面看到，10个新的文件是依次创建到了两个server的/disk/export中，server01中的/disk/export_ns就是我们配置的namespace，用于交换空间
到此，我的试验就算完成了，而且试验目的也达成了
4.在server端进行一个破坏性的实验，把server02的gluster进程杀掉，到client端看，发现/mnt的空间把server02的去掉了变成了3G，但是到/mnt里touch文件是没问题
但是把server01端的gluster进程杀掉后：
[root@glusterfs_client mnt]# ls
ls: .: 没有那个文件或目录
当把server01端的glusterfs进程启动后恢复正常
1.glusterfs_client端的/mnt目录下：
touch {1,2,3,4,5,6,7,8,9,10}
2.到glusterfs_server的/disk/export目录下ls
server01:
[root@glusterfs_server01 export]# ls
1 3 5 7 9
server02:
[root@glusterfs_server02 export]# ls
2 4 6 8 10
3.再到server01上的/disk/export_ns目录下ls
[root@glusterfs_client export_ns]# ls
1 10 2 3 4 5 6 7 8 9
由上面看到，10个新的文件是依次创建到了两个server的/disk/export中，server01中的/disk/export_ns就是我们配置的namespace，用于交换空间
到此，我的试验就算完成了，而且试验目的也达成了
4.在server端进行一个破坏性的实验，把server02的gluster进程杀掉，到client端看，发现/mnt的空间把server02的去掉了变成了3G，但是到/mnt里touch文件是没问题
但是把server01端的gluster进程杀掉后：
[root@glusterfs_client mnt]# ls
ls: .: 没有那个文件或目录
当把server01端的glusterfs进程启动后恢复正常
5.到此有几个问题比较疑惑
(1).交换空间也就是namespace需要设置多大，是应该每个存储空间之和还是和一个空间大小一样就行，个人感觉应该是每个存储空间之和
(2).感觉只要namespace的服务器的进程不down，client就可以正常访问，namespace可以和其他的server在一台服务器上也可以单独一台服务器，单独出来出问题的危险小点
还可以把namespace的服务器做成HA为了更保险的话，这样就感觉namespace太浪费磁盘了
对于以上2个问题，我会再之后的学习中进行研究，并实现glusterfs的其他功能，对于其中的参数下次一并讨论吧
(1).交换空间也就是namespace需要设置多大，是应该每个存储空间之和还是和一个空间大小一样就行，个人感觉应该是每个存储空间之和
(2).感觉只要namespace的服务器的进程不down，client就可以正常访问，namespace可以和其他的server在一台服务器上也可以单独一台服务器，单独出来出问题的危险小点
还可以把namespace的服务器做成HA为了更保险的话，这样就感觉namespace太浪费磁盘了
对于以上2个问题，我会再之后的学习中进行研究，并实现glusterfs的其他功能，对于其中的参数下次一并讨论吧
