基于DRBD实现MySQL高可用

DRBD：分布式复制块设备

DRBD---Distributed Replicated Block Device 是一种基于Linux的软件组件， 它是由内核模块和相关程序而组成的，通过网络镜像促进共享存储系统的替换。也就是说：当你将数据写入本地的DRBD设备上的文件系统时，数据会同时被发送到网络中的另外一台主机之上，并以完全相同的形式记录在一个文件系统中（实际上文件系统的创建也是由DRBD的同步来实现的）。本地节点（主机）与远程节点（主机）的数据可以保证 实时的同步，并保证IO的一致性。所以当本地节点的主机出现故障时，远程节点的主机上还会保留有一份完全相同的数据，可以继续使用，以达到高可用的目的。

 

DRBD的工作原理图：

 

下面我们基于DRBD来实现MySQL高可用的目的

环境：Red Hat Enterprise Linux Server release 5.8 

节点1:172.16.9.2 node2.test.com

节点2:172.16.9.3 node3.test.com

 

配置过程：

一、配置高可用的前提

 

1、主机名和'uname -n'的结果保持一致

Node2:

sed -i 's@\(HOSTNAME=\).*@\1node2.test.com@g'

hostname node2.test.com

 

Node3：

sed -i 's@\(HOSTNAME=\).*@\1node3.test.com@g'

hostname node3.test.com

 

2、双方可以解析彼此的主机名：2节点都要配置

vim /etc/hosts 
172.16.9.2      node2.test.com      node2 
172.16.9.3      node3.test.com      node3 

3、建立双机互信：2节点上都要配置

ssh-keygen -t rsa -P ""      
ssh-copy-id -i /root/.ssh/id_rsa.pub dr2  root@node3 

4、时间同步：

date '12011340';ssh node3 'date 12011340' 

5、在两节点上分别创建一个磁盘分区以供之后使用（这里不再给出集体步骤）

注：2节点磁盘分区大小必须保持一致

 

二、安装drbd所需的rpm包

drbd共有两部分组成：内核模块和用户空间的管理工具

内核模块相关包：最新版本：drbd83-8.3.13

管理工具相关包：对应版本：kmod-drbd83-8.3.13

下载地址为：http://mirrors.sohu.com/centos/5.8/extras/i386/RPMS/

 

rpm -ivh drbd83-8.3.13-2.el5.centos.i386.rpm kmod-drbd83-8.3.13-1.el5.centos.i686.rpm 

 

提供配置文件，将原来的文件覆盖

cp /usr/share/doc/drbd83-8.3.13/drbd.conf /etc

 

配置/etc/drbd.d/global-common.conf，修改为对应以下内容

global { 
        usage-count no; 
        # minor-count dialog-refresh disable-ip-verification 
} 
 
##########中间没做修改，为默认############### 
 
        disk { 
                on-io-error detach; 
                #fencing resource-only; 
        } 
 
        net { 
                cram-hmac-alg "sha1"; 
                shared-secret "mydrbdlab"; 
        } 
 
        syncer { 
                rate 1000M; 
        } 
} 

定义一个资源mydrbd；

resource mydrbd { 
        on node2.test.com { 
        device /dev/drbd0; 
        disk /dev/sda5; 
        address 172.16.9.2:7789; 
        meta-disk internal; 
        }    
        on node3.test.com { 
        device /dev/drbd0; 
        disk /dev/sda5; 
        address 172.16.9.3:7789; 
        meta-disk internal; 
        }    
} 

配置的文件全部同步到另外一个节点之上

scp -r /etc/drbd.* node3:/etc/ 

初始化资源并启动服务(2节点都要配置)

drbdadm create-md mydrbd 
service drbd start 

查看启动状态

drbd-overview 
0:mydrbd  Connected Secondary/Secondary Inconsistent/Inconsistent C r-----  

查看状态，同步已经开始

[root@node2 ~]# drbd-overview 
  0:mydrbd  SyncTarget Secondary/Secondary Inconsistent/UpToDate C r-----  
    [=>..................] sync'ed: 13.9% (4120/4776)M 

将当前节点设置为主节点

drbdsetup /dev/drbd0 primary –o 

再次查看状态

[root@node2 ~]# drbd-overview 
  0:mydrbd  Connected Primary/Secondary UpToDate/UpToDate C r-----  

当前节点已经是主节点

 

对drbd设备进行格式化（只能在主节点上进行）

mke2fs -j -L DRBD /dev/drbd0 

一切配置完成就可以挂载使用了

 

三、安装配置mysql（这些步骤全部在主节点上完成）

这里使用的是绿色版mysql-5.5.28-linux2.6-i686.tar.gz

解压到/usr/local路径下

tar xvf mysql-5.5.28-linux2.6-i686.tar.gz -C /usr/local/

创建挂载drbd设备的目录及mysql用户

mkdir /data/mydata -pv 
groupadd -r -g 333 mysql 
useradd -r -g 333 -u 333 mysql 
chown -R mysql:mysql /data/mydata 

挂载drbd设备

mount /dev/drbd0 /data/mydata 

配置mysql

cd /usr/local 
ln -sv mysql-5.5.28-linux2.6-i686 mysql 
cd mysql 
chown -R root:mysql . 

初始化mysql

scripts/mysql_install_db --user=myql --datadir=/data/mydata 

提供脚本和配置文件

cp support-files/mysql.server /etc/rc.d/init.d/mysqld 
cp support-files/my-large.cnf /data/mydata/my.cnf 

编辑两个文件，在里面添加

datadir=/data/mydata 

提供mysql的路径

vim /etc/profile.d/mysql.sh 
export PATH=$PATH:/usr/local/mysql/bin 
 
source /etc/profile.d/mysql.sh   #使之生效 

 

一切配置完毕，启动mysql服务

service mysqld start

进入mysql，手动创建一个数据库（方便后续测试）

退出mysql，并关闭服务，不让其开机自动启动

service mysqld stop 
chkconfig mysqld off 

切换主备节点，在另一个节点上配置mysql（注:不必再一次初始化mysql了）

挂载drbd设备，配置mysql过程和第一个节点一样，配置后可以登录mysql看下是否有刚刚创建的数据库；如果一切正常，停止mysql服务，不让其自动启动。

 

四、配置高可用服务（这里采用corosync + pacemaker)

 

安装高可用所需要的rpm包：下载地址：http://clusterlabs.org/rpm/

cluster-glue-1.0.6-1.6.el5.i386.rpm      

libesmtp-1.0.4-5.el5.i386.rpm

cluster-glue-libs-1.0.6-1.6.el5.i386.rpm  

pacemaker-1.1.5-1.1.el5.i386.rpm

corosync-1.2.7-1.1.el5.i386.rpm           

pacemaker-cts-1.1.5-1.1.el5.i386.rpm

corosynclib-1.2.7-1.1.el5.i386.rpm        

pacemaker-libs-1.1.5-1.1.el5.i386.rpm

heartbeat-3.0.3-2.3.el5.i386.rpm          

perl-TimeDate-1.16-5.el5.noarch.rpm

heartbeat-libs-3.0.3-2.3.el5.i386.rpm     

resource-agents-1.0.4-1.1.el5.i386.rpm

 

这里包含所有依赖的包,yum 安装即可：

yum –y localinstall –nogpgcheck *rpm

修改配置文件：

cd  /etc/corosync 
cp corosync.conf.example corosync.conf 
 
vim corosync.conf 
添加如下内容 
service { 
    ver:  0 
    name: pacemaker 
} 
 
aisexec { 
    user:   root 
    group:  root 
} 
 
同时将原来内容做下修改： 
secauth: on 
bindnetaddr: 172.16.0.0     #修改为主机所在网段 
to_syslog: no 

生成节点间通信时用到的认证密钥文件：

corosync-keygen 

将corosync.conf和authkey复制至另一节点:

scp -r corocync.conf authkey node3:/etc/corosync/ 

分别为两个节点创建corosync生成的日志所在的目录：

mkdir /var/log/cluster 
ssh node3  'mkdir /var/log/cluster' 

接下来就可以启动corosync服务了

Service corosync start 
Ssh node3 'service corosync start' 

五、定义资源

 

首先定义高可用集群的一些属性

crm  
ccrm(live)# configure 
crm(live)configure# property no-quorum-policy=ignore    #取消法定票数的机制 
crm(live)configure# property stonith-enabled=false  #禁用隔离设备 

接下来定义drbd资源

crm(live)configure# primitive drbd ocf:linbit:drbd params drbd_resource="mydrbd" op start timeout=240 op stop timeout=240  
 #根据自己需要定义资源的名字，类型等 
crm(live)configure# master ms_mydrbd drbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" 
 #master关键字定义主从资源，后面指定资源name,meta 指定额外参选数，master-max指定最多有几个master， 
 #master-node-max指定一个节点最多运行几个master,clone-max指定有几个clone资源， 
 #clone-node-max指定一个节点最多运行几个clone资源，notify指当出现故障时是否通知对方 

定义文件系统资源

crm(live)configure# primitive myFS ocf:heartbeat:Filesystem params device="dev/drbd0" directory="/data/mydata" fstype="ext3" op start timeout=60 op stop timeout=60 

定义资源约束

crm(live)configure# colocation myFS_on_ms_mydrbd inf: myFS ms_mydrbd:Master 
crm(live)configure# order myFS_after_ms_mydrbd mandatory: ms_mydrbd:promote myFS:start 
#将资源系统和drbd资源绑定在一个节点上，并定义其启动次序 
crm(live)configure# verify 
crm(live)configure# commit 

查看刚定义的资源的状态

crm status 
============ 
Last updated: Mon Nov 12 16:45:35 2012 
Stack: openais 
Current DC: node2.test.com - partition with quorum 
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f 
2 Nodes configured, 2 expected votes 
2 Resources configured. 
============ 
 
Online: [ node3.test.com node2.test.com ] 
 
 Master/Slave Set: ms_mydrbd [drbd] 
     Masters: [ node3.test.com ] 
     Slaves: [ node2.test.com ] 
 myFS   (ocf::heartbeat:Filesystem):    Started node3.test.com 

定义IP资源及与其相关的约束

crm(live)configure# primitive IP ocf:heartbeat:IPaddr params ip=172.16.66.1 
crm(live)configure# colocation IP_with_ms_mydrbd_master inf: IP ms_mydrbd:Master 

查看状态

 crm status 
============ 
Last updated: Mon Nov 12 16:54:25 2012 
Stack: openais 
Current DC: node2.test.com - partition with quorum 
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f 
2 Nodes configured, 2 expected votes 
4 Resources configured. 
============ 
 
Online: [ node3.test.com node2.test.com ] 
 
 Master/Slave Set: ms_mydrbd [drbd] 
     Masters: [ node3.test.com ] 
     Slaves: [ node2.test.com ] 
 myFS   (ocf::heartbeat:Filesystem):    Started node3.test.com 
 MYSQL  (lsb:mysqld):   Started node3.test.com 
 IP (ocf::heartbeat:IPaddr):    Started node3.test.com 

这时就可以看到资源在node3 上已经启动起来了，进入mysql测试能否正常运行，可以的话一个简单的基于DRBD的mysql高可用就完工了！！

 

 

测试高可用资源能否实现故障转移，接下来可以手动将node3 故障：

crm node standby 
##等待一会看资源是否转移 
crm(live)# status 
============ 
Last updated: Mon Nov 12 17:09:50 2012 
Stack: openais 
Current DC: node2.test.com - partition with quorum 
Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f 
2 Nodes configured, 2 expected votes 
4 Resources configured. 
============ 
 
Node node3.test.com: standby 
Online: [ node2.test.com ] 
 
 Master/Slave Set: ms_mydrbd [drbd] 
     Masters: [ node2.test.com ] 
     Stopped: [ drbd:1 ] 
 myFS   (ocf::heartbeat:Filesystem):    Started node2.test.com 
 MYSQL  (lsb:mysqld):   Started node2.test.com 
 IP (ocf::heartbeat:IPaddr):    Started node2.test.com 

看到资源转移成功，说明高可用集群构建成功！！