最近接触了下GlusterFS,所以就想着在自己的笔记本上的虚拟机里安装个测试环境。起初想要从https://github.com/gluster/glusterfs/ 上下载一个build然后编译安装, 但是试了很多次,在make时总是失败,折腾了两天后,彻底死心了...


1. 先介绍下我的实验环境,由于笔记本配置不是很高,所以我就只开了两个CentOS7的虚拟机,网络选择NAT,以确保能够连接到外网,都做server,其中一台还要兼做client,没有单独的client端。还有两个server要能够相互解析hostname,而我这里又没有DNS服务器,所以要把下面的两行信息加入到/etc/hosts文件里。

      192.168.133.145      node01.lab.example.com

      192.168.133.135      node02.lab.exampe.com


2. 下载安装yum源头,非特殊说明,以下操作步骤在两台server上均要执行,贴出的命令以node01为例

[root@node01 ~]# wget -P /etc/yum.repos.d/ http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo


3. 安装glusterfs的主要组件:

[root@node01 ~]# yum install -y glusterfs glusterfs-server glusterfs-fuse

[root@node01 ~]# rpm -qa | grep gluster
glusterfs-fuse-3.11.1-1.el7.x86_64
glusterfs-3.11.1-1.el7.x86_64
glusterfs-cli-3.11.1-1.el7.x86_64
glusterfs-server-3.11.1-1.el7.x86_64
glusterfs-client-xlators-3.11.1-1.el7.x86_64
glusterfs-api-3.11.1-1.el7.x86_64
glusterfs-libs-3.11.1-1.el7.x86_64


4. 启动glusterfs service,并设置为开机自启动

[root@node01 ~]# systemctl start glusterd
[root@node01 ~]# systemctl enable glusterd
Created symlink from /etc/systemd/system/multi-user.target.wants/glusterd.service to /usr/lib/systemd/system/glusterd.service.

至此,glusterfs已经成功安装到两台server上了,接下来做一些简单使用测试


5. 创建trust storage pool(信任存储池?不知道这个翻译准不准确,暂且这样用吧)

1)如果开启了firewall或者iptables服务,我们需要先放开相应的服务,以firewall为例:

[root@node01 ~]# firewall-cmd --add-service=glusterfs

[root@node01 ~]# firewall-cmd --runtime-to-permanent   

2)在node01上创建信任池,也可以在node02上执行,总之只需在一台服务器上执行以下命令即可:

[root@node01 ~]# gluster peer probe node02.lab.example.com

[root@node01 ~]# gluster peer status
Number of Peers: 1

Hostname: node02.lab.example.com
Uuid: 707099ff-5c39-467e-950c-9fef9ca7f701
State: Peer in Cluster (Connected)
[root@node01 ~]# gluster pool list
UUID                                    Hostname                State
707099ff-5c39-467e-950c-9fef9ca7f701    node02.lab.example.com  Connected
2be7bf8f-fba4-4b3f-a510-31d99c7c9ccf    localhost               Connected
[root@node01 ~]#


6. 创建Volume以便进行挂载测试,glusterfs上可以创建多种类型的volume,例如简单点的distributed volume, replicated volume,复杂点的dispersed volume,当然也可以创建复合volume,如distributed-replicated volume.今次我们先来个简单的,创建一个2副本的replicated volume.

---我这里使用的是瘦逻辑卷做的底层存储,所以开始前先把瘦逻辑卷做出来:

[root@node01 ~]# pvs
  PV         VG        Fmt  Attr PSize  PFree
  /dev/sdb   vg_bricks lvm2 a--  20.00g 17.99g
[root@node01 ~]# vgs
  VG        #PV #LV #SN Attr   VSize  VFree
  vg_bricks   1   2   0 wz--n- 20.00g 17.99g
[root@node01 ~]# lvs
  LV       VG        Attr       LSize  Pool  Origin Data%  Meta%  Move Log Cpy%Sync Convert
  pool1    vg_bricks twi-aotz--  2.00g              0.55   1.17                           
  thinvol1 vg_bricks Vwi-a-tz--  2.00g pool1        0.55                                  
[root@node01 ~]#


---格式化逻辑卷并进行挂载,在格式化时注意要加参数-i size=512,这个是glusterfs需要的

[root@node01 ~]# mkfs -t xfs -i size=512 /dev/mapper/vg_bricks-thinvol1

[root@node01 ~]# mkdir /bricks/thinvol1/

[root@node01 ~]# mount /dev/mapper/vg_bricks-thinvol1 /bricks/thinvol1/

建议将挂载步骤写入到/etc/fstab里,以确保实现开机自动挂载


glusterfs是基于brick的,而且我们的brick不能是mount point,所以还要创建一个brick目录在挂载目录下

[root@node01 ~]# mkdir /bricks/thinvol1/brick/

如果开启了selinux,还需要配置安全上下文

[root@node01 ~]# chcon -R -t glusterd_brick_t /bricks/thinvol1/


7. Create and start volume

准备工作到此可以告一段落了,现在我们可以创建volume了

[root@node01 ~]# gluster volume create RepVol replica 2 \
> node01.lab.example.com:/bricks/thinvol1/brick \
> node02.lab.example.com:/bricks/thinvol1/brick

创建完后,volume还不能立即使用,我们还需要start volume

[root@node01 ~]# gluster volume start RepVol

[root@node01 ~]# gluster volume info RepVol
 
Volume Name: RepVol
Type: Replicate
Volume ID: 2ae04508-a5ec-47f6-a436-e3a87ee39ced
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node01.lab.example.com:/bricks/thinvol1/brick
Brick2: node02.lab.example.com:/bricks/thinvol1/brick

...


8. 在Client端使用Volume,这里我们假设我们的node02是一个Client节点

Glusterfs支持的挂载类型根据挂载方式不同可以分为以下三类:

1)Native mount,需要安装glusterfs-fuse,本身支持高可用

2)NFS 方便简单,在创建完 volume后,glusterfs会自动启动一个nfs共享进程,server端只需在firewall中打开nfs相关的access即可,无需其他配置

firewall-cmd --add-service=nfs

firewall-cmd --add-service=rpc-bind

3)Samba 配置较上面两种类型稍显复杂,但也有优点,就是可以支持Windows挂载,这里我们不做详细介绍了

---使用Native mount挂载gluster volume 到node02节点的/test目录下

[root@node02 glusterfs]# mount -t glusterfs node02.lab.example.com:RepVol /test/
[root@node02 glusterfs]# df -h | grep test
node02.lab.example.com:RepVol   2.0G   33M  2.0G   2% /test


[root@node02 ~]# cd /test
[root@node02 test]# touch file{1..100}.txt

[root@node02 test]# ls -l /test/ | grep -v total | wc -l
100


分别在node01 和node02 上验证下,发现在两个节点的brick里面都存在100个测试文件:

[root@node01 ~]# ls -l /bricks/thinvol1/brick/ | grep -v total | wc -l
100

[root@node02 test]# ls -l /bricks/thinvol1/brick/ | grep -v total | wc -l
100