大致步骤:
准备两台服务器分别作为主备节点
主备节点进行系统升级
主备节点配置SSH密钥登陆
主备节点关闭Iptables和selinux
主备节点准备空白的LV分区
主备节点安装编译环境
主备节点创建rpmbuild目录
 
主备节点下载、安装drbd-8.4.1
主节点配置drbd-8.4.1,完成后复制配置文件到备用节点
主备节点载入drbd模块,创建drbd分区元数据,并启用资源
主节点设置primary角色
主节点上为drbd分区创建文件系统,并挂载
测试主备节点的数据同步

 
一、主备节点进行系统升级,并重启:
  1. yum update 
  2. reboot 
!!important,否则make km-rpm通不过,主要是因为uname -r得出的内核版本,与/usr/src/kernels/目录下的内核版本不一致。是否需要进行该操作步骤,看实际情况!!
 
二、主备节点配置SSH密钥登陆:
 
三、主备节点关闭iptables和selinux,否则drbd无法获取对方节点的数据:
  1. service iptables stop 
  2. chkconfig iptables off 
  3.  
  4. setenforce 0 
  5. sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux 
四、主备节点准备空白的LV分区,注意不要创建文件系统:
 
五、主备节点安装编译环境:
  1. yum -y install gcc make automake autoconf flex rpm-build kernel-devel 
六、主备节点创rpmbuild目录,为后面编译rpm包做准备:
  1. mkdir -p rpmbuild/SOURCES 
七、主备节点下载drbd源码包,并编译成rpm:
  1. wget http://oss.linbit.com/drbd/8.4/drbd-8.4.1.tar.gz 
  2. tar -zxvf drbd-* 
  3. cd drbd-* 
  4. ./configure 
  5. make rpm 
  6. make km-rpm 
八、主备节点安装编译后的rpm包,根据需求安装所需的rpm包,最好全部安装;这里只是最小化安装:
  1. cd /root/rpmbuild/RPMS/x86_64 
  2. rpm -ivh drbd-utils* drbd-km-2.6* 
九、在主节点上配置drbd,完成后把配置文件复制到备用节点:
cd /etc/drbd.d
vi global_common.conf
  1. global { 
  2. usage-count yes; 
  3.  
  4. common { 
  5. handlers { 
  6. pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
  7. pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
  8. local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f"; 
  9.  
  10. startup { 
  11. wfc-timeout 30; 
  12. degr-wfc-timeout 30; 
  13. outdated-wfc-timeout 30; 
  14.  
  15. options { 
  16. # cpu-mask on-no-data-accessible 
  17.  
  18. disk { 
  19. on-io-error detach; 
  20. fencing resource-and-stonith; 
  21. resync-rate 15M; 
  22.  
  23. net { 
  24. protocol C; 
  25. cram-hmac-alg sha1; 
  26. shared-secret "111111"; 
vi redis.res
  1. resource redis { 
  2. device /dev/drbd0; 
  3. disk /dev/VolGroup00/LogVol01; 
  4. meta-disk internal; 
  5. on SER-206 { 
  6. address 10.10.14.174:9876; 
  7. on SER-104 { 
  8. address 10.10.14.5:9876; 
复制配置文件到备用节点:
  1. scp /etc/drbd.d/* SER-104:/etc/drbd.d 
要注意:1) drbd每个配置项结尾有一个分号,注意不要犯语法上的错误
2) 配置drbd-8.4时不要生搬硬套8.3的配置项,因为8.4的配置文件发生了很多的变化,如取消了syncer配置段,把这部分选项分配给了disk和net;disk增加了一些新的选项,如disk-timeout等。
 
十、主备节点载入drbd模块,创建drdb分区元数据,并启用资源:
  1. modprobe drbd 
  2. lsmod |grep drbd 
  3. 如果结果无报错,有drbd的字样,说明安装成功。 
  4.  
  5. drbdadm create-md redis //创建元数据 
  6. drbdadm up redis //启用资源 
十一、主备节点查看drbd状态:
cat /proc/drbd
正常情况下的状态应该是这样:cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----;如果你的drbd状态一直显示cs:WFConnection ro:Secondary/Unknown ds:Inconsistent/DUnknown,而/var/log/messages又无报错,请查看iptables和selinux是否关闭。
 
十二、设置主节点的角色为primary:
  1. drbdadm primary --force redis  
设置成功后,应该会看到两个节点正在同步数据。
 
十三、在主节点上为drbd分区创建文件系统,并挂载drbd分区:
  1. yum -y install xfsprogs xfsdump 
  2. mkfs.xfs /dev/drbd0 
  3.  
  4. mkdir /data 
  5. mount /dev/drbd0 /data 
注意:1) 是为drbd分区创建文件系统,就是在redis.res中定义的/dev/drbd0,不是底层分区
2) 为drbd分区创建文件系统的工作,只在主节点上进行操作,备用节点上不用创建。
 
十四、测试主备节点之间的数据同步(注意步骤!):
1) 在主节点上:
  1. 创建测试文件:echo -e "$(date +$F%T): hell0" >/data/test.txt 
  2. 卸载drbd设备:umount /data 
  3. 主节点角色降级:drbdadm secondary redis 
2) 然后,在备用节点上:
  1. 把备用节点设置为primary角色:drbdadm primary redis 
  2. 挂载drbd设备:mount /dev/drbd0 /data 
查看备用节点的/data目录,可以看到在主节点上的创建的文件,说明切换成功!再次查看drbd状态,两个节点的角色应该已经转换过来了。
 
十五、有朋友问,drbd的日志记录在什么地方?DRBD的日志默认记录在/var/log/messages中,如果遇到了问题,可以去查看一下。