安装配置MySql+DRBD+Corosync+pacemaker

本次 主要介绍MySqL高可用集群环境的搭建。DRBD的英文全称为：Distributed Replicated Block Device（分布式块设备复制），是Linux内核存储层中的一个分布式存储系统，可利用DRBD在两台Linux服务器之间共享块设备、文件系统和数据，类似一个网络RAID1的功能。DRBD的架构如图所示：

安装配置MySql+DRBD+Corosync+pacemaker高可用集群 _DRBD

其他的就不多说了。下面来实现吧。

前提：
1）本配置共有两个测试节点，分别node1.zhou.com和node2.zhou.com，相的IP地址分别为192.168.35.11/24和192.168.35.12/24；
2）node1和node2两个节点上各提供了一个大小相同的分区作为drbd设备；我们这里为在两个节点上均为/dev/sda5，大小为2G；
3)调整两个节点的时间要同步
4）关闭两台服务器的selinux。
关闭方法：# setenforce 0
要开机就已经是关闭要编辑配置文件
# vim /etc/selinux/config
定位到：SELINUX 并修改为：SELINUX=permissive
5）配置好yum源
6）系统为rhel5.4，x86平台；

一、准备工作
两个节点的主机名称和对应的IP地址解析服务可以正常工作，且每个节点的主机名称需要跟"uname -n“命令的结果保持一致；因此，需要保证两个节点上的/etc/hosts文件均为下面的内容：
192.168.35.11 node1.zhou.com node1
192.168.35.12 node2.zhou.com node2
为了使得重新启动系统后仍能保持如上的主机名称，还分别需要在各节点执行类似如下的命令：

  1. Node1: 
  2. # sed -i 's@\(HOSTNAME=\).*@\1node1.zhou.com@g' 
  3. # hostname node1.zhou.com 
  4. Node2： 
  5. # sed -i 's@\(HOSTNAME=\).*@\1node2.zhou.com@g' 
  6. # hostname node2.zhou.com 

为了在两台服务器之间文件复制方便，下面来配置双机互信。

设定两个节点可以基于密钥进行ssh通信，这可以通过类似如下的命令实现：

  1. Node1: 
  2. # ssh-keygen -t rsa 
  3. # ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2 
  4. Node2: 
  5. # ssh-keygen -t rsa 
  6. # ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1 

配置完成了。以后两台服务器之间在复制文件时就不用输入密码了。这样就方便多了。

二、安装配置DRBD
下载所需的软件包：rbd83-8.3.8-1.el5.centos.i386.rpm kmod-drbd83-8.3.8-1.el5.centos.i686.rpm这两个软件包要根据自己的系统来定。
下载完成后直接安装即可：

  1. # yum -y --nogpgcheck localinstall drbd83-8.3.8-1.el5.centos.i386.rpm kmod-drbd83-8.3.8-1.el5.centos.i686.rpm 

两台服务器上都要安装上。

下面的操作在node1.zhou.com上完成。

1）复制样例配置文件为即将使用的配置文件：
# cp /usr/share/doc/drbd83-8.3.8/drbd.conf  /etc

2）
  1. 配置/etc/drbd.d/global-common.conf 
  2. global { 
  3.         usage-count no; 
  4.         # minor-count dialog-refresh disable-ip-verification 
  5. } 
  6.  
  7. common { 
  8.         protocol C; 
  9.  
  10.         handlers { 
  11.                 pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
  12.                 pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
  13.                 local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f"; 
  14.                 # fence-peer "/usr/lib/drbd/crm-fence-peer.sh"; 
  15.                 # split-brain "/usr/lib/drbd/notify-split-brain.sh root"; 
  16.                 # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root"; 
  17.                 # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k"; 
  18.                 # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh; 
  19.         } 
  20.  
  21.         startup { 
  22.                 #wfc-timeout 120; 
  23.                 #degr-wfc-timeout 120; 
  24.         } 
  25.  
  26.         disk { 
  27.                 on-io-error detach; 
  28.                                 #fencing resource-only; 
  29.         } 
  30.  
  31.         net { 
  32.                                 cram-hmac-alg "sha1"; 
  33.                                 shared-secret "mydrbdlab"; 
  34.         } 
  35.  
  36.         syncer { 
  37.                 rate 1000M; 
  38.         } 
  39. } 
  40.  
  41. 3、定义一个资源/etc/drbd.d/web.res，内容如下： 
  42. resource web { 
  43.   on node1.zhou.com { 
  44.     device    /dev/drbd0; 
  45.     disk      /dev/sda5; 
  46.     address   192.168.35.11:7789; 
  47.     meta-disk internal; 
  48.   } 
  49.   on node2.zhou.com { 
  50.     device    /dev/drbd0; 
  51.     disk      /dev/sda5; 
  52.     address   192.168.35.12:7789; 
  53.     meta-disk internal; 
  54.   } 
  55. } 
 
以上文件在两个节点上必须相同，因此，可以基于ssh将刚才配置的文件全部同步至另外一个节点。
# scp -r /etc/drbd.*  node2:/etc

4、在两个节点上初始化已定义的资源并启动服务：

1）初始化资源，在Node1和Node2上分别执行：
# drbdadm create-md web

2）启动服务，在Node1和Node2上分别执行：
# service drbd start

3）查看启动状态：
# cat /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:16
 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:505964
也可以使用drbd-overview命令来查看：
# drbd-overview 
  0:web  Connected Secondary/Secondary Inconsistent/Inconsistent C r---- 
到此DRBD就算配置好了。要把drbd服务配置成集群资源则服务不能开机自动启动，所以还要在两台服务器上把drbd服务关闭
# service drbd stop
# chkconfig drbd off  三、安装配置Corosync和pacemaker 1、安装corosync和pacemaker，首先下载所需要如下软件包至本地某专用目录（这里为/root/cluster）： cluster-glue cluster-glue-libs heartbeat openaislib resource-agents corosync heartbeat-libs pacemaker corosynclib libesmtp pacemaker-libs  下载地址：http://clusterlabs.org/rpm/。请根据硬件平台及操作系统类型选择对应的软件包；这里建议每个软件包都使用目前最新的版本。 下载完成后安装软件： # 用yum来安装： # yum -y --nogpgcheck localinstall *.rpm  2、做相应的配置 1）配置corosync 
  1. # cd /etc/corosync 
  2. # cp corosync.conf.example corosync.conf 
  3. totem { 
  4.         version: 2 
  5.         secauth: on   --->这个要启用 
  6.         threads: 0 
  7.         interface { 
  8.                 ringnumber: 0 
  9.                 bindnetaddr: 192.168.35.0  ---->修改为相应的网络地址 
  10.                 mcastaddr: 226.94.1.9     ----->这个组播地址也做一点修改以防与其他人的相同。 
  11.                 mcastport: 5405 
  12.         } 
  13. } 
  14.  
  15. logging { 
  16.         fileline: off 
  17.         to_stderr: no 
  18.         to_logfile: yes 
  19.         to_syslog: no       ----->日志文件用一个就行了。所以要关闭一个 
  20.         logfile: /var/log/cluster/corosync.log 
  21.         debug: off 
  22.         timestamp: on 
  23.         logger_subsys { 
  24.                 subsys: AMF 
  25.                 debug: off 
  26.         } 
  27. } 
  28.  
  29. amf { 
  30.         mode: disabled 
  31. } 
  32. service {               ----->从这行开始到结束是要添加的内容 
  33.   ver:  0 
  34.   name: pacemaker 
  35. } 
  36. aisexec { 
  37.   user: root 
  38.   group: root 
  39. } 
  2）生成节点间通信时用到的认证密钥文件： # corosync-keygen  3）将corosync和authkey复制至node2: # scp -p corosync authkey  node2:/etc/corosync/  4）分别为两个节点创建corosync生成的日志所在的目录： # mkdir /var/log/cluster # ssh node2  'mkdir /var/log/cluster'  5）下面来尝试启动，（以下命令在node1上执行）：  # service corosync start  查看corosync引擎是否正常启动： 
  1. # grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log  
  2. Jun 14 19:02:08 node1 corosync[5103]:   [MAIN  ] Corosync Cluster Engine ('1.2.7'): started and ready to provide service. 
  3. Jun 14 19:02:08 node1 corosync[5103]:   [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'. 
  4. Jun 14 19:02:08 node1 corosync[5103]:   [MAIN  ] Corosync Cluster Engine exiting with status 8 at main.c:1397. 
  5. Jun 14 19:03:49 node1 corosync[5120]:   [MAIN  ] Corosync Cluster Engine ('1.2.7'): started and ready to provide service. 
  6. Jun 14 19:03:49 node1 corosync[5120]:   [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'. 
 查看初始化成员节点通知是否正常发出： 
  1. # grep  TOTEM  /var/log/cluster/corosync.log  
  2. Jun 14 19:03:49 node1 corosync[5120]:   [TOTEM ] Initializing transport (UDP/IP). 
  3. Jun 14 19:03:49 node1 corosync[5120]:   [TOTEM ] Initializing transmit/receive security: libtomcrypt SOBER128/SHA1HMAC (mode 0). 
  4. Jun 14 19:03:50 node1 corosync[5120]:   [TOTEM ] The network interface [192.168.35.11] is now up. 
  5. Jun 14 19:03:50 node1 corosync[5120]:   [TOTEM ] A processor joined or left the membership and a new membership was formed. 
 检查启动过程中是否有错误产生： 
  1. # grep ERROR: /var/log/cluster/corosync.log  | grep -v unpack_resources 
查看pacemaker是否正常启动： 
  1. # grep pcmk_startup /var/log/cluster/corosync.log  
  2. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] info: pcmk_startup: CRM: Initialized 
  3. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] Logging: Initialized pcmk_startup 
  4. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] info: pcmk_startup: Maximum core file size is: 4294967295 
  5. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] info: pcmk_startup: Service: 9 
  6. Jun 14 19:03:50 node1 corosync[5120]:   [pcmk  ] info: pcmk_startup: Local hostname: node1.zhou.com 
 如果上面命令执行均没有问题，接着可以执行如下命令启动node2上的corosync # ssh node2 '/etc/init.d/corosync start'  注意：启动node2需要在node1上使用如上命令进行，不要在node2节点上直接启动；  使用如下命令查看集群节点的启动状态： 
  1. # crm status 
  2. ============ 
  3. Last updated: Tue Jun 14 19:07:06 2011 
  4. Stack: openais 
  5. Current DC: node1.magedu.com - partition with quorum 
  6. Version: 1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87 
  7. 2 Nodes configured, 2 expected votes 
  8. 0 Resources configured. 
  9. ============ 
  10.  
  11. Online: [ node1.zhou.com node2.zhou.com ] 
出现 这个结果显示Corosync安装成功了。  四、安装MySqL 下载软件：mysql-5.5.20-linux2.6-i686.tar.gz 在node1上操作 使node1为主节点： 
  1. # mkdir /mydata 
  2. # mount /dev/drbd0 /mydata 
  3. # mkdir /myata/data 
  4. # groupadd -r -g 306 mysql 
  5. # useradd -r -g mysql -u 306 -s /sbin/nologin -M mysql 
  6. # chown -R mysql:mysql /mydata/data 
  7. # tar xvf mysql-5.5.20-linux2.6-i686.tar.gz -C /usr/local/ 
  8. # cd /usr/local/ 
  9. # ln -sv mysql-5.5.20-linux2.6-i686 mysql 
  10. # cd mysql 
  11. # chown -R mysql:mysql . 
  12. # ./scripts/mysql_install_db --user=mysql --datadir=/mydata/data/  
  13. # chown -R root . 
  14. # cp support-files/my-large.cnf /etc/my.cnf 
  15. # cp support-files/mysql.server /etc/rc.d/init.d/mysqld 
  16. # ln -sv /usr/local/mysql/include /usr/include/mysql 
  17. # echo "/usr/local/mysql/lib" > /etc/ld.so.conf.d/mysql.conf 
  18. # ldconfig -v | grep mysql 
  19. # service mysqld start 
  20. # service mysqld stop 
  21. # chkconfig mysqld off 
下面卸载/dev/drbd0 并让node2成为主节点 在node2上所要做的步骤： 同样要安装MySqL 
  1. # scp node1:/root/mysql-5.5.20-linux2.6-i686.tar.gz ./ 
  2. # mkdir /mydata 
  3. # mount /dev/drbd0 /mydata 
  4. # mkdir /myata/data 
  5. # groupadd -r -g 306 mysql 
  6. # useradd -r -g mysql -u 306 -s /sbin/nologin -M mysql 
  7. # chown -R mysql:mysql /mydata/data 
  8. # tar xvf mysql-5.5.20-linux2.6-i686.tar.gz -C /usr/local/ 
  9. # cd /usr/local/ 
  10. # ln -sv mysql-5.5.20-linux2.6-i686 mysql 
  11. # cd mysql 
  12. # chown -R root:mysql . 
  13. # scp node1:/etc/my.cnf /etc/ 
  14. # scp node1:/etc/rc.d/init.d/mysqld /etc/rc.d/init.d/ 
  15. # ln -sv /usr/local/mysql/include /usr/include/mysql 
  16. # scp node1:/etc/ld.so.conf.d/mysql.conf /etc/ld.so.conf.d/ 
  17. # ldconfig -v | grep mysql 
  18. # service mysqld start 
  19. # service mysqld stop 
  20. # chkconfig mysqld off 
这样两个服务器上都安装上了MySqL 接着要的是让两个节点的drbd服务都处在slave状态，并把服务给停止了。为下面做集群服务做准备。 下面来在crm命令行中来配置集群资源 
  1. # crm configure 
  2. crm(live)configure# property stonith-enabled="false" 
  3. crm(live)configure# property no-quorum-policy="ignore" 
  4. crm(live)configure# rsc_defaults resource-stickiness=100 
-------------这三个是全局配置------------------------ 
  1. crm(live)configure# verify  
  2. crm(live)configure# commit  
  3. crm(live)configure# show 
  4. node node1.zhou.com 
  5. node node2.zhou.com 
  6. property $id="cib-bootstrap-options" \ 
  7.     dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \ 
  8.     cluster-infrastructure="openais" \ 
  9.     expected-quorum-votes="2" \ 
  10.     stonith-enabled="false" \ 
  11.     no-quorum-policy="ignore" 
  12. rsc_defaults $id="rsc-options" \ 
  13.     resource-stickiness="100" 
	--------------下面来配置drbd资源并配置成主从资源----------------------------- 
  1. crm(live)configure# primitive drbd ocf:linbit:drbd params drbd_resource="web" op monitor interval=29s role="Master" op monitor interval=31s role="Slave" op start timeout=240s op stop timeout=100s 
  2. crm(live)configure# show 
  3. crm(live)configure# show 
  4. crm(live)configure# ms ms_drbd drbd meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true 
--------------drbd的主从资源定义完成-------------------------------- 
  1. crm(live)configure# primitive fs ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/mydata" fstype="ext3" op start timeout=60s op stop timeout=60s 
----------------------这是定义一个文件系统------------------------- 
  1. crm(live)configure# primitive myip ocf:heartbeat:IPaddr params ip="192.168.53.4" 
  2. crm(live)configure# primitive mysqld lsb:mysqld  
--------------这是定义VIP资源和mysqld服务----------------------------- 好了，所要用到的资源都以定义完成了。 --------------------下面来定义资源间的位置和次序的约束关系------------------------ 
  1. crm(live)configure# colocation fs_with_ms_drbd inf: fs ms_drbd:Master  --->让fs与ms_drbd的主节点在一起 
  2. crm(live)configure# order fs_after_ms_drbd inf: ms_drbd:promote fs:start  ---->让ms_drbd先于fs启动 
  3. crm(live)configure# colocation ip_with_ms_drbd inf: ip ms_drbd:Master  ---> 让ip地址与ms_drbd的主节点在一起 
  4. crm(live)configure# order fs_after_ip inf: ip fs:start                  ----> 让fs晚于ip启动 
  5. crm(live)configure# colocation mysqld_with_fs inf: mysqld fs           ------> 让mysql服务与fs在一起 
  6. crm(live)configure# order mysqld_after_fs inf: fs mysqld:start         -------> 让fs先于mysql服务启动 
  7. 最要检测一下，并提交。 
  8. crm(live)configure# verify  
  9. crm(live)configure# show 
  10. crm(live)configure# commit  
下面来用命令来查看服务的运行情况： 
  1. # crm_mon 
  2. 如下所示的结果： 
  3. Online: [ node1.zhou.com node2.zhou.com ] 
  4.  
  5.  Master/Slave Set: ms_drbd [drbd] 
  6.      Masters: [ node2.zhou.com ] 
  7.      Slaves: [ node1.zhou.com ] 
  8. fs  (ocf::heartbeat:Filesystem):    Started node2.zhou.com 
  9. ip  (ocf::heartbeat:IPaddr):        Started node2.zhou.com 
  10. mysqld  (lsb:mysqld):   Started node2.zhou.com 
从上面可以看出：主节点是node2，从节点是node1 ，下面来让node2变为standby，查看服务是否转移到node1上。 在node2上执行如下命令： 
  1. # crm node standby 
  2. # crm_mon 
  3.  
  4. Node node2.zhou.com: standby 
  5. Online: [ node1.zhou.com ] 
  6.  
  7.  Master/Slave Set: ms_drbd [drbd] 
  8.      Masters: [ node1.zhou.com ] 
  9.      Stopped: [ drbd:0 ] 
  10. fs  (ocf::heartbeat:Filesystem):    Started node1.zhou.com 
  11. ip  (ocf::heartbeat:IPaddr):        Started node1.zhou.com 
  12. mysqld  (lsb:mysqld):   Started node1.zhou.com 
从上可知所有的服务都移到node1上了。说明整个服务和配置完成了，并检测了MySqL的高可用性。在两个节点之间可以正常的切换。