服务器平台是Dell R410,系统采用的Centos5.6 x86_64,系统盘采用的是Raid1,然后单独拿了一块SAS 500G的硬盘出来准备给DRBD系统用, 这里没有采用单独分区的做法,这是因为在测试中我们发现,单独分区做为DRBD系统使用时,经常有如下报错(以下数据采集来自于实验环境)。特与大家分享。
AD:
- Operation refused.
- Command 'drbdmeta 0 v08 /dev/sda2 internal create-md' terminated with exit code 40
- drbdadm create-md r0: exited with code 40
这个时候我们需要使用dd命令覆盖文件系统中的设备块信息,如下所示:
- dd if=/dev/zero of=/dev/sda2 bs=1M count=128
这个时候请一定要注意dd命令要清除的分区信息,不要搞错了,不然很容易将系统损坏,我第一次实验时就遇到了这个问题;如果部署DRBD时的分区信息是不需要写进/etc/fstab表的,即不需要在安装系统时就挂载,不然重启系统时很容易发生Emergency信息,签于以上情况,所以我这里建议大家还是用独立硬盘作为DRBD的设备。
两台机器的基本情况如下所示:
centos1.cn7788.com 192.168.11.32
centos2.cn7788.com 192.168.11.33
Heartbeat的vip为 192.168.11.30
两台机器的hosts文件内容如下所示:
192.168.11.32 centos1.cn7788.com centos1
192.168.11.33 centos2.cn7788.com centos2
实验中暂时先用千M交换机的网络作为心跳线线路,等实验搭建成功后再考虑加双绞线作为心跳线,两台机器的hostname及ntp对时这些在实验前就应该配置好,iptables和SElinux关闭,具体情况略过。
一、DRBD的部署安装
两台机器分别用如下命令来安装drbd软件,如下所示:
1. yum -y install drbd83 kmod-drbd83
2. modprobe drbd
3. lsmod | grep drbd
正确显示如下类似信息,表示DRBD已成功安装:
1. drbd 300440 4
两台机器的drbd.conf配置文件内容如下所示(两台机器的配置是一样的):
1. cat /etc/drbd.conf
2. global {
3. # minor-count dialog-refresh disable-ip-verification
4. usage-count no; #统计drbd的使用
5. }
6. common {
7. syncer { rate 30M; } #同步速率,视带宽而定
8. }
9. resource r0 { #创建一个资源,名字叫”r0”
10. protocol C; #选择的是drbd的C 协议(数据同步协议,C为收到数据并写入后返回,确认成功)
11. handlers { #默认drbd的库文件
12. pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
13. pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
14. local-io-error "/usr/lib/drbd/notify-io-error.sh;
15. /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
16. # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
17. # split-brain "/usr/lib/drbd/notify-split-brain.sh root";
18. # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
19. # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
20. # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
21. }
22. startup {
23. # wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb
24. wfc-timeout 120;
25. degr-wfc-timeout 120;
26. }
27. disk {
28. # on-io-error fencing use-bmbv no-disk-barrier no-disk-flushes
29. # no-disk-drain no-md-flushes max-bio-bvecs
30. on-io-error detach;
31. }
32. net {
33. # sndbuf-size rcvbuf-size timeout connect-int ping-int ping-timeout max-buffers
34. # max-epoch-size ko-count allow-two-primaries cram-hmac-alg shared-secret
35. # after-sb-0pri after-sb-1pri after-sb-2pri data-integrity-alg no-tcp-cork
36. max-buffers 2048;
37. cram-hmac-alg "sha1";
38. shared-secret "123456";
39. #DRBD同步时使用的验证方式和密码信息
40. #allow-two-primaries;
41. }
42. syncer {
43. rate 100M;
44. # rate after al-extents use-rle cpu-mask verify-alg csums-alg
45. }
46. on centos1.cn7788.com { #设定一个节点,分别以各自的主机名命名
47. device /dev/drbd0; #设定资源设备/dev/drbd0 指向实际的物理分区 /dev/sdb
48. disk /dev/sdb;
49. address 192.168.11.32:7788; #设定监听地址以及端口
50. meta-disk internal;
51. }
52. on centos2.cn7788.com { #设定一个节点,分别以各自的主机名命名
53. device /dev/drbd0; #设定资源设备/dev/drbd0 指向实际的物理分区 /dev/sdb
54. disk /dev/sdb;
55. address 192.168.11.33:7788; #设定监听地址以及端口
56. meta-disk internal; #internal表示是在同一个局域网内
57. }
58. }
1.创建DRBD元数据信息,执行命令如下所示(两台机器都需要执行此步):
1. [root@centos1 ~]# drbdadm create-md r0
2. md_offset 8589930496
3. al_offset 8589897728
4. bm_offset 8589635584
5. Found some data
6. > This might destroy existing data! <==
7. Do you want to proceed?
8. [need to type 'yes' to confirm] yes
9. Writing meta data...
10. initializing activity log
11. NOT initialized bitmap
12. New drbd meta data block successfully created.
13. [root@centos2 ~]# drbdadm create-md r0
14. md_offset 8589930496
15. al_offset 8589897728
16. bm_offset 8589635584
17. Found some data
18. > This might destroy existing data! <==
19. Do you want to proceed?
20. [need to type 'yes' to confirm] yes
21. Writing meta data...
22. initializing activity log
23. NOT initialized bitmap
24. New drbd meta data block successfully created.
2.启动DRBD设备,两台机器上分别执行如下命令:
1. service drbd start
3.在centos1的机器上我们查看DRBD状态,命令如下所示:
1. [root@centos1 ~]# service drbd status
2. drbd driver loaded OK; device status:
3. version: 8.3.13 (api:88/proto:86-96)
4. GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36
5. m:res cs ro ds p mounted fstype
6. 0:r0 Connected Secondary/Secondary Inconsistent/Inconsistent C
4.将centos1的机器作为DRBD的Primary机器,命令如下所示:
1. [root@centos1 ~]# drbdsetup /dev/drbd0 primary -o
2. [root@centos1 ~]# drbdadm primary r0
然后我们再查看其状态,命令如下所示:
1. [root@centos1 ~]# service drbd status
2. drbd driver loaded OK; device status:
3. version: 8.3.13 (api:88/proto:86-96)
4. GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36
5. m:res cs ro ds p mounted fstype
6. ... sync'ed: 3.9% (7876/8188)M
7. 0:r0 SyncSource Primary/Secondary UpToDate/Inconsistent C
我们发现,Primary/Secondary关系已形成,而且数据在进行同步,已同步了3.9%,我们稍为等待段时间,再查看Primary机器的DRBD状态,如下所示:
1. [root@centos1 ~]# service drbd status
2. drbd driver loaded OK; device status:
3. version: 8.3.13 (api:88/proto:86-96)
4. GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36
5. m:res cs ro ds p mounted fstype
6. 0:r0 Connected Primary/Secondary UpToDate/UpToDate C
UpToDate/UpToDate表示数据已经同步完成了。
5.在两台机器上都建立/drbd分区,准备将其作为MySQL的挂载目录,命令如下所示:
1. mkdir /drbd
6.格式化Primary机器的DRBD分区并挂载使用。
1. mkfs.ext3 /dev/drbd0
2. mount /dev/drbd0 /drbd/
注:Secondary节点上是不允许对DRBD设备进行任何操作,包括只读,所以的读写操作都只能在Primary节点上进行,只有当Primary节点挂掉时,Secondary代替主节点作为Primary节点时才能进行读写操作。
7.两台机器都将DRBD设为自启动服务,命令如下:
chkconfig drbd on
二、Heartbeat的安装和部署
1.两台机器上分别用yum来安装heartbeat,如下命令操作二次:
1. yum -y install heartbeat
如果你只操作一次,你会惊奇的发现,heartbeat第一次时并没有安装成功。
2.两个节点的heartbeat配置文件,分别如下所示:
centos1.cn7788.com的配置文件:
1. logfile /var/log/ha-log
2. #定义Heartbeat的日志名字及位置
3. logfacility local0
4. keepalive 2
5. #设定心跳(监测)时间为2秒
6. deadtime 15
7. #设定死亡时间为15秒
8. ucast eth0 192.168.11.33
9. #采用单播的方式,IP地址指定为对方IP
10. auto_failback off
11. #当Primary机器发生故障切换到Secondary机器后不再进行切回操作
12. node centos1.cn7788.com centos2.cn7788.com
centos2.cn7788.com的配置文件:
1. logfile /var/log/ha-log
2. logfacility local0
3. keepalive 2
4. deadtime 15
5. ucast eth0 192.168.11.32
6. auto_failback off
7. node centos1.cn7788.com centos2.cn7788.com
3.编辑双机互连验证文件authkeys,如下所示:
1. cat /etc/ha.d/authkeys
2. auth 1
3. 1 crc
需要将此文件设定为600权限,不然启动heartbeat服务时会报错,命令如下所示:
1. chmod 600 /etc/ha.d/authkeys
4.编辑集群资源文件/etc/ha.d/haresource
1. centos1.rogrand.com IPaddr::192.168.11.30/24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/drbd::ext3 mysqld
这个文件在两台机器上都是一样的,这个就不要轻易改动了。
mysqld为mysql服务器启动、重启及关闭脚本,这个是安装MySQL自带的,我们等会会在安装MySQL提到此步。
三、源码编译安装mysql5.1.47并部署haresource
1.在MySQL官方网站上下载mysql5.1.47的源码包,在两台机器上分别安装,具体步骤如下所示:
安装gcc等基础库文件
1. yum install gcc gcc-c++ zlib-devel libtool ncurses-devel libxml2-devel
生成mysql用户及用户组
1. groupadd mysql
2. useradd -g mysql mysql
源码编译安装mysql5.1.47
1. tar zxvf mysql-5.1.47.tar.gz
2. cd mysql-5.1.47
3. ./configure --prefix=/usr/local/mysql --with-charset=utf8 --with-extra-charsets=all --enable-thread-safe-client --enable-assembler --with-readline --with-big-tables --with-plugins=all --with-mysqld-ldflags=-all-static --with-client-ldflags=-all-static
4. make
5. make install
2.对mysql进行权限配置,使其能顺利启动。
1. cd /usr/local/mysql
2. cp /usr/local/mysql/share/mysql/my-medium.cnf /etc/my.cnf
3. cp /usr/local/mysql/share/mysql/mysql.server /etc/init.d/mysqld
4. cp /usr/local/mysql/share/mysql/mysql.server /etc/ha.d/resource.d/mysqld
5. chmod +x /etc/init.d/mysqld
6. chmod +x /etc/ha.d/resource.d/mysqld
7. chown -R mysql:mysql /usr/local/mysql
3.两台机器上的/etc/my.cnf的[mysqld]项下面重新配置下mysql运行时的数据存放路径
1. datadir=/drbd/data
4.在Primary机器上运行如下命令,使其数据库目录生成数据,Secondary机器不需要运行此步。
1. /usr/local/mysql/bin/mysql_install_db --user=mysql --datadir=/drbd/data
注意:这里是整个实验环境的一个重要环节,我起初在搭建此步时出过几次问题,我们运行MySQL是在启动DRBD设备之后,即正确将/dev/drbd0目录正确挂载到/drbd目录,而并非没挂载就去启动MySQL,这会导致整个实验完全失败,大家做到此步时请注意。做完这步以后,我们不需要启动MySQL,它可以靠脚本来启动,如果已经启动了MySQL请手动关闭。
四、在两台机器上将DRBD和Heartbeat都设成自启动方式
service drbd start
chkcfonig drbd on
service heartbeat start
chkconfig heartbeat on
通过观察Primary机器上的信息,我们得知,Primary机器已经正确启动了MySQL和Heartbaet了,信息如下所示:
1. [root@centos1 data]# ip addr
2. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
3. link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
4. inet 127.0.0.1/8 scope host lo
5. 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
6. link/ether 00:0c:29:48:2e:9f brd ff:ff:ff:ff:ff:ff
7. inet 192.168.11.32/24 brd 192.168.11.255 scope global eth0
8. inet 192.168.11.30/24 brd 192.168.11.255 scope global secondary eth0:0
通过查看到3306端口被占用情况,我们得知mysql服务已被正常开启。
1. [root@centos1 data]# lsof -i:3306
2. COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
3. mysqld 4341 mysql 18u IPv4 9807 TCP *:mysql (LISTEN)
五、其余的工作其实就比较好测试了,我们主要是模拟Primary机器重启或死机时,看Secondary机器能不能自动接管过来并启动MySQL,我们重启Primary机器后在Secondary机器上观察,命令如下所示:
1. IPaddr[3050]: 2012/09/04_09:51:24 INFO: Resource is stopped
2. ResourceManager[3023]: 2012/09/04_09:51:24 info: Running /etc/ha.d/resource.d/IPaddr 192.168.11.30/24/eth0 start
3. IPaddr[3149]: 2012/09/04_09:51:25 INFO: Using calculated netmask for 192.168.11.30: 255.255.255.0
4. IPaddr[3149]: 2012/09/04_09:51:26 INFO: eval ifconfig eth0:0 192.168.11.30 netmask 255.255.255.0 broadcast 192.168.11.255
5. IPaddr[3119]: 2012/09/04_09:51:26 INFO: Success
6. heartbeat[2842]: 2012/09/04_09:51:26 WARN: Late heartbeat: Node centos1.rogrand.com: interval 3510 ms
7. ResourceManager[3023]: 2012/09/04_09:51:26 info: Running /etc/ha.d/resource.d/drbddisk r0 start
8. Filesystem[3300]: 2012/09/04_09:51:27 INFO: Resource is stopped
9. ResourceManager[3023]: 2012/09/04_09:51:27 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd0 /drbd ext3 start
10. Filesystem[3382]: 2012/09/04_09:51:28 INFO: Running start for /dev/drbd0 on /drbd
11. Filesystem[3370]: 2012/09/04_09:51:28 INFO: Success
12. ResourceManager[3023]: 2012/09/04_09:51:29 info: Running /etc/ha.d/resource.d/mysqld start
13. mach_down[2997]: 2012/09/04_09:51:31 info: /usr/share/heartbeat/mach_down: nice_failback: foreign resources acquired
14. mach_down[2997]: 2012/09/04_09:51:31 info: mach_down takeover complete for node centos1.rogrand.com.
15. heartbeat[2842]: 2012/09/04_09:51:31 info: mach_down takeover complete.
16. heartbeat[2842]: 2012/09/04_09:51:32 WARN: node centos1.rogrand.com: is dead
17. heartbeat[2842]: 2012/09/04_09:51:32 info: Dead node centos1.rogrand.com gave up resources.
18. heartbeat[2842]: 2012/09/04_09:51:35 info: Link centos1.rogrand.com:eth0 dead.
稍等片刻我们会发现,Secondary机器会自动接管VIP,并启动MySQL服务,如下所示:
1. [root@centos2 data]# ip addr
2. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
3. link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
4. inet 127.0.0.1/8 scope host lo
5. 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
6. link/ether 00:0c:29:34:ee:af brd ff:ff:ff:ff:ff:ff
7. inet 192.168.11.33/24 brd 192.168.11.255 scope global eth0
8. inet 192.168.11.30/24 brd 192.168.11.255 scope global secondary eth0:0
实施整个过程需要注意有以下几点:
一、Secondary主机用来做DRBD的硬盘可以跟Primar主机的不一样大小,但请不要小于Primary主机,以免发生数据丢失的现象;
二、服务器网卡及交换机我都推荐千M系列的,在测试中发现其同步速率介于100M-200M之间,这里采用官方的建议,以最小值的30%带宽来设置rate速率,即100M*30%,大家也可根据自己的实际网络环境来设定此值;
三、DRBD对网络环境要求很高,建议用单独的双绞线来作为二台主机之间的心跳线,如果条件允许,可以考虑用二根以上的心跳线;如果这个环节做得好,基本上脑裂的问题是不存在的。其实整个实验初期都可以在同一网络下实现,后期再加心跳线也是可行的。
四、安装Heartbeat时需要安装二遍,即yum -y install heartbeat要执行二次;
五、建议不要用根分区作为MySQL的datadir,不然你show database时会发现会出现名为#mysql50#lost+found的数据库,这也是我将MySQL的数据库目录设置成/drbd/data的原因。
六、就算发生脑裂的问题,DRBD也不会丢失数据的,手动解决就是;正因为DRBD可靠,MySQL也推荐将其作为MySQL实现高可用方案之一。
七、MySQL的DRBD此方案不能达到毫秒级的切换速度,MyISAM引擎的表在系统宕机后需要很长的修复时间,而且也有可能发生表损坏的情况,建议大家将所有除了系统表之外的所有表引擎改为InnoDB引擎。