preface

NFS作为业界常用的共享存储方案，被众多公司采用。我司也不列外，使用NFS作为共享存储，为前端WEB server提供服务，主要存储网页代码以及其他文件。

高可用方案

说道NFS，不得不说它的同步技术，同步技术有两种，

  • 第一种就是借助RSYNC+inotify来实现主从同步数据。
  • 第二种借助DRBD，实现文件同步。
    上诉两种方案都没有实现高可用，只是实现了两者数据同步。但是业务要求NFS服务器必须是高可用，所以我们在第二种同步方案的基础上，在结合heartbeat来实现高可用。
    具体架构如下：

动手搭建

我们看看我们的服务器信息：

IP

角色

192.168.1.4

NFS-Client(App-Server)

192.168.1.7

NFS-Master

192.168.1.8

NFS-Backup

  • 以上系统版本都是CentOs6.6
  • heartbeat的VIP为192.168.1.100
  • 我们实验室环境采用都是单张网卡，所以heartbeat监听eth0
基础工作要到位
  • 确保所有服务器时间同步。
  • 确保所有服务器的防火墙，Selinux关闭了。
  • 且主机名配置到位，能够根据主机名知道服务器角色。
  • 确保所有服务器hosts里面能够解析任意一台服务器的hostname。

上面所有的基础工作我就不记录命令了，非常简单。

搭建DRBD

drbd的原理不赘述了，可以参考我的另一篇博文： 。这里我们采用C协议（backup端网络接收到后写入磁盘再返回OK状态给Master）。
开始动手配置它吧。

在nfs主备服务器都敲下面的命令

安装DRBD

[root@nfsmaster ~]# yum -y update kernel kernel-devel
[root@nfsmaster ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm
[root@nfsmaster ~]# yum -y install drbd84-utils kmod-drbd84

格式化磁盘

主备都安装drbd以后，我们就开始格式化磁盘。这里我把/dev/sdb直接分成主分区，大小为20G，在这基础之上，做了LVM卷，划分大小为10G。主备同时操作：

[root@nfsmaster ~]# fdisk /dev/sdb
[root@nfsmaster ~]# pvcreate /dev/sdb1
[root@nfsmaster ~]# vgcreate nfsdisk /dev/sdb1
[root@nfsmaster ~]# lvcreate -L 10G -n nfsvolume nfsdisk
[root@nfsmaster ~]# lvdisplay     # 刚才创建LVM卷的信息
  --- Logical volume ---
  LV Path                /dev/nfsdisk/nfsvolume
  LV Name                nfsvolume
  VG Name                nfsdisk
  LV UUID                ub6vWZ-kX6r-zNdz-mzRy-7z1w-QsKb-ke8QBO
  LV Write Access        read/write
  LV Creation host, time nfsmaster, 2016-12-03 16:06:41 +0800
  LV Status              available
  # open                 0
  LV Size                10.00 GiB
  Current LE             2560
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0

配置完成后，把master的drbd相关配置文件直接copy到backup上面就行了，我使用的是SCP。

启动drbd
磁盘创建成功后，开始启动drbd了：·

[root@nfsbackup ~]# drbdadm create-md r0
[root@nfsmaster ~]# service  drbd start

[root@nfsmaster ~]# drbdadm primary r0    # 到这里报错了，一看DRBD状态，两者不同步的状态，所以无法切换到primary。
[root@nfsmaster ~]# service  drbd status
drbd driver loaded OK; device status:
version: 8.4.7-1 (api:1/proto:86-101)
GIT-hash: 3a6a769340ef93b1ba2792c6461250790795db49 build by mockbuild@Build64R6, 2016-01-12 13:27:11
m:res  cs         ro                   ds                         p  mounted  fstype
0:r0   Connected  Secondary/Secondary  Inconsistent/Inconsistent  C   # inconsisten是两者数据不同步状态。
[root@nfsmaster ~]# drbdadm -- --overwrite-data-of-peer primary all   #不同步的话，我们在master节点执行这条命令。意思是让备的数据和主的一致。
[root@nfsmaster ~]# drbd-overview                 # 此时能够看到同步状态了
 0:r0/0  SyncSource Primary/Secondary UpToDate/Inconsistent
	[================>...] sync'ed: 86.3% (1408/10236)M

[root@nfsmaster ~]# drbd-overview    # 这个时候的状态表示同步成功。
 0:r0/0  Connected Primary/Secondary UpToDate/UpToDate
[root@nfsmaster ~]# mkfs.ext4 /dev/drbd0   #格式化磁盘，待会准备使用
搭建heartbeat了

安装heartbeat

采用yum安装，

[root@nfsmaster ~]#  rpm -vih http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
[root@nfsmaster ~]# yum -y install heartbeat heartbeat-devel heartbeat-stonith heartbeat-pils

配置heartbeat

[root@nfsmaster ~]# cp /usr/share/doc/heartbeat-3.0.4/ha.cf /etc/ha.d/
[root@nfsmaster ~]#  cp /usr/share/doc/heartbeat-3.0.4/haresources /etc/ha.d/
[root@nfsmaster ~]# cp /usr/share/doc/heartbeat-3.0.4/authkeys /etc/ha.d/
[root@nfsmaster ~]# chmod 600 /etc/ha.d/authkeys    #必须是600权限

[root@nfsmaster ~]# grep -v ^# /etc/ha.d/haresources
nfsmaster  IPaddr::192.168.1.100/24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/nfs::ext4   #drbddisk后面的r0是资源名，drbd配置文件定义的。


[root@nfsmaster ~]# grep -v ^# /etc/ha.d/ha.cf   #主配置文件
logfile /var/log/ha-log          #指定heartbeat日志文件的位置
keepalive 1                        # 心跳发送时间间隔
deadtime 5                # 备用节点5s内没有检测到master机的心跳，确认对方故障
warntime 2                 # 警告2次
initdead 10                 # 守护进程启动30s后，启动服务资源。
ucast eth0 192.168.1.8      # 另一台主机节点eth0的地址，注意是另一台。
auto_failback off    # 当primary节点切换到secondary节点之后，primary节点恢复正常，不进行切回操作，因为切换一次mysql master成本很高。
node nfsmaster     # 定义两个节点的主机名，一行写一个。
node nfsbackup
respawn hacluster /usr/lib64/heartbeat/ipfail      #开启dopd功能
respawn hacluster /usr/lib64/heartbeat/dopd
apiauth ipfail gid=haclient uid=hacluster
apiauth dopd gid=haclient uid=hacluster

[root@nfsmaster ~]# grep -v ^# /etc/ha.d/authkeys　　　#认证文件
auth 1
1 sha1 HA_DB

[root@nfsmaster ~]# vim /etc/ha.d/resource.d/drbddisk   
 69                 $DRBDADM --force primary $RES && break   # 更改第69行，添加--force。

配置完成后，把配置文件copy到backup上面即可。不过需要改动的是/etc/ha.d/ha.cf下面的ucast参数，还有/etc/ha.d/haresources下面的nfsmaster，改成nfsbackup，与主机名一致。

启动heartbeat

[root@nfsmaster ~]# service  heartbeat start
[root@nfsmaster ~]# ip a|grep 'inet '
    inet 127.0.0.1/8 scope host lo
    inet 192.168.1.7/24 brd 192.168.1.255 scope global eth0
    inet 192.168.1.100/24 brd 192.168.1.255 scope global secondary eth0   # VIP已经在了，启动成功

设置开机自启动

[root@nfsmaster ~]# chkconfig heartbeat on
[root@nfsmaster ~]# chkconfig drbd on
测试drbd+heartbeat是否正常工作。
  1. 把master服务器拔掉往下或者直接拔电源，模拟宕机状态，看VIP是否会切换到backup上，如果能够切换，说明成功。drbd状态为primary/unknow
  2. 当master启动后以后，Master不会抢占backup的VIP以及drbd资源。。drbd状态为primary/Secondary

下面开始说说NFS结合drbd+heartbeat做高可用吧。