heartbeat drbd nfs高可用

原创

小雨yyy 2014-05-02 16:34:54 ©著作权

文章标签 heartbeat drbd nfs高可 文章分类 MySQL 数据库

©著作权归作者所有：来自51CTO博客作者小雨yyy的原创作品，请联系作者获取转载授权，否则将追究法律责任

heartbeat drbd nfs高可用

drbd:网络raid-1,用于通过网络镜像磁盘数据，属于磁盘块的镜像，和文件无关。

数据要写入磁盘，先要把文件转换为磁盘上对应的扇区，块然后磁盘开始

转圈圈（机械式的），把数据写到了磁盘，永久保存了数据。drbd就是工作在

转换为扇区，块后，把对应的扇区，块记录下来。然后通过tcp报文传到远端

存储。具体一点通常为了提升磁盘效率在内核会有一个buffer cache用于缓冲

写的数据，在缓冲过后为了更好的提升磁盘性能，会把相邻的写操作放到一起

把尽可能的降低随机io，让磁盘转一圈多写点数据，不用来回寻道。当然ssd

就不存在这样的问题，因为它是电子的。比机械式的各方面都要优秀。就是有点贵。

根据drbd在两个节点同步数据时的同步方式可分为同步，半同步，异步

其中同步最安全，异步最高效，为什么这么说呢。

在同步的时候，主节点要等待备节点把数据写入磁盘

在异步的时候，主节点只要把数据封装成报文发送出去就完了，至于你写没写完我不关心

heartbeat:实现高可用的，通过各节点的心跳信息，进行服务的转移以实现高可用

本身带了集群的整个套件，包括心跳检测和资源管理。后来独立出来了

一个pacemaker集群资源管理器，可结合openais独立出来的corosync心跳信息检测使用

nfs:network file system

192.168.100.25 主

192.168.100.26 备

192.168.100.200 vip

准备

# vim /etc/hosts

192.168.100.25 node1.xy.com node1

192.168.100.26 node2.xy.com node2

# ssh-keygen

# ssh-copy-id root@192.168.100.26

# scp /etc/hosts node2:/etc/

# ssh node2 "hostname node2.xy.com";hostname node1.xy.com

# ssh node2 "ntpdate 192.168.100.254";ntpdate 192.168.100.254

安装drbd

先查看内核版本号，因为drbd要和内核严格匹配。kernal 2.6.33 自带drbd，只需安装用户空间工具

[root@node1 ~]# ssh node2 'uname -r';uname -r

2.6.32-431.el6.x86_64

下载包安装

[root@node1 ~]# scp ./drbd* node2:~/

drbd-8.4.3-33.el6.x86_64.rpm 100% 283KB 283.3KB/s 00:00

drbd-kmdl-2.6.32-431.el6-8.4.3-33.el6.x86_64.rpm 100% 145KB 145.2KB/s 00:00

[root@node1 ~]# ssh node2 'yum -y install ~/drbd*';yum -y install drbd*

配置drbd

# vim global_common.conf

global {
        usage-count no;
}
common {
        handlers {
                 pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                 pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                 local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
        }
        startup {
                wfc-timeout 0;
                degr-wfc-timeout 120;
        }
        disk {
                on-io-error detach;
        }
        net {
                  protocol C;
                  cram-hmac-alg "sha1";
                  shared-secret "redhat";
        }
        syncer {
                rate 200M;
        }
}

添加一个资源

先分一个磁盘分区，或者用lvm或者用一块磁盘

# vim drbd0.res

resource r0 {
        device /dev/drbd0;
        disk /dev/sda4;
        meta-disk internal;
        on node1.xy.com {
        address 192.168.100.25:7789;
        }
        on node2.xy.com {
        address 192.168.100.26:7789;
        }
}

拷贝到node2一份

[root@node1 drbd.d]# scp ./* node2:/etc/drbd.d/

创建drbd

# mkdir /var/lib/drbd

# drbdadm create-md r0

# service drbd start

提升一个为主的

# drbdadm primary r0 --force

[root@node1 drbd.d]# cat /proc/drbd

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-11-29 12:28:00

0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-

ns:596864 nr:0 dw:0 dr:603800 al:0 bm:36 lo:0 pe:2 ua:7 ap:0 ep:1 wo:f oos:457824

[==========>.........] sync'ed: 57.0% (457824/1052768)K

finish: 0:00:09 speed: 49,576 (49,576) K/sec

在主的上创建文件系统

# mke2fs -t ext4 /dev/drbd0

[root@node1 drbd.d]# mkdir /mnt/drbd

[root@node1 drbd.d]# mount /dev/drbd0 /mnt/drbd

[root@node1 drbd.d]# cd /mnt/drbd

[root@node1 drbd]# ls

lost+found

[root@node1 drbd]# mkdir data/shared -p

[root@node1 drbd]# ls

data lost+found

在另一个节点查看，因为从节点不能挂载，所以要先把主节点降级然后把从节点提升为主的才能查看

[root@node1 mnt]# umount /mnt/drbd

[root@node1 mnt]# drbdadm secondary r0

[root@node2 drbd]# drbdadm primary r0

[root@node2 drbd]# cat /proc/drbd

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-11-29 12:28:00

0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

ns:4 nr:1102564 dw:1102568 dr:1017 al:1 bm:65 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

[root@node2 drbd]# mkdir /mnt/drbd

[root@node2 drbd]# mount /dev/drbd0 /mnt/drbd

[root@node2 drbd]# cd /mnt/drbd

[root@node2 drbd]# ls

data lost+found

数据都有

安装nfs

# ssh node2 "yum -y install nfs-utils";yum -y install nfs-utils

配置nfs

# vim /etc/exports

/mnt/drbd/data/shared192.168.100.0/24(rw)

# scp /etc/exports node2:/etc/

启动nfs

service nfs start

在另一个节点使用

[root@node1 mnt]# showmount -e 192.168.100.26

Export list for 192.168.100.26:

/mnt/drbd/data/shared 192.168.100.0/24

[root@node1 mnt]# mount -t nfs 192.168.100.26:/mnt/drbd/data/shared /mnt

[root@node1 mnt]# cd /mnt

[root@node1 mnt]# ls

[root@node1 mnt]# mkdir mysql

[root@node1 mnt]# ls

mysql

要根据需要修改权限后才能写的,我改成了777

# umount /mnt

最后就是安装heartbeat了

# yum install perl-TimeDate net-snmp-libs libnet PyXML gettext

[root@node2 ~]# yum -y remove cluster-glue

# rpm -ivh heartbeat-2.1.4-12.el6.x86_64.rpm heartbeat-pils-2.1.4-12.el6.x86_64.rpm heartbeat-stonith-2.1.4-12.el6.x86_64.rpm

# cd /etc/ha.d/

# cp /usr/share/doc/heartbeat-2.1.4/authkeys ./

# cp /usr/share/doc/heartbeat-2.1.4/haresources ./

# cp /usr/share/doc/heartbeat-2.1.4/ha.cf ./

# chmod 600 authkeys

配置节点间认证

auth 2

#1 crc

2 sha1 Hello!word

#3 md5 Hello!

# vim ha.cf

logfile /var/log/ha-log

logfacility local0

定义日志的

keepalive 2

定义多久检查一次心跳

deadtime 10

多久没收到心跳就认为别人挂了

mcast eth0 225.90.0.1 694 1 0

使用多播的方式发心跳信息

auto_failback off

节点从新上线后资源不会转移回去，on表示转回

node node1.xy.com node2.xy.com

定义节点

配置文件有说明英文版的

# vim haresources

node1.xy.com IPaddr::192.168.100.200/24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/mnt/drbd::ext4 nfs

[root@node1 ha.d]# scp ha.cf authkeys haresources node2:/etc/ha.d

[root@node1 ha.d]# ssh node2 'service heartbeat start && chkconfig keartbeat on';service heartbeat start && chkconfig heartbeat on

测试

[root@node1 ha.d]# cat /proc/drbd

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-11-29 12:28:00

0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

ns:1102576 nr:128 dw:49936 dr:1055574 al:11 bm:65 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

已经提升为主的

[root@node2 ha.d]# showmount -e node1

Export list for node1:

/mnt/drbd/data/shared 192.168.100.0/24

已经启动了nfs

[root@node1 ha.d]# ifconfig

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:F8:B5:7A

inet addr:192.168.100.200 Bcast:192.168.100.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

当节点1下线时

[root@node1 mnt]# service heartbeat stop

Stopping High-Availability services:

Done.

[root@node2 ha.d]# ifconfig

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:8A:B2:3B

inet addr:192.168.100.200 Bcast:192.168.100.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

[root@node2 ha.d]# showmount -e

Export list for node2.xy.com:

/mnt/drbd/data/shared 192.168.100.0/24

[root@node2 ha.d]# cat /proc/drbd

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-11-29 12:28:00

0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

ns:140 nr:1102580 dw:1102720 dr:2766 al:2 bm:65 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

所有资源都转移了

比corosync+pacemaker用容易配置，一行配置顶pacemaker一页

但是pacemaker做的更精细，可配置的多，这也是优势也是劣势。如果用的熟练当然选

corosync+pacemaker

在配置的时候nfs不能启动，后来发现先启动rpcbind后就正常了,这应该是nfs的标准步骤。

为了避免资源争用通常应该配置stonith设备

如果drbd发生错误

1,在从的上

drbdadm secondary r0

drbdadm disconnect all

drbdadm --discard-my-data connect r0

2,在主的上

drbdadm disconnect all

drbdadm connect r0

----------------------------

编译安装drbd

yum -y install gcc kernel-devel flex

./configure --with-km --with-heartbeat --prefix=/usr/local/drbd

make && make install

cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/init.d

chmod +x /etc/init.d/drbd

chkconfig --add drbd

lvm+drbd

[root@node4 drbd.d]# cat drbd0.res
resource r0 {
        device /dev/drbd0;
        disk /dev/mysql_vg/mysql_lv;
        meta-disk internal;
        on node4.xy.com {
        address 192.168.100.104:7789;
        }
        on node3.xy.com {
        address 192.168.100.103:7789;
        }
}

在线扩容

在主节点上

lvextend -L 2G /dev/mysq_vg/mysql_lv

在从节点上

lvextend -L 2G /dev/mysql_vg/mysql_lv

在主节点上

drbdadm resize r0

在从节点上

[root@node4 /]# cat /proc/drbd
version: 8.4.4 (api:1/proto:86-101)
GIT-hash: 74402fecf24da8e5438171ee8c19e28627e1c98a build by root@node4.xy.com, 2014-08-08 10:20:02
0: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r-----
    ns:8 nr:453144 dw:453152 dr:1017 al:1 bm:24 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:661796
   [======>.............] sync'ed: 37.2% (661796/1048544)K
   finish: 0:00:23 speed: 27,624 (27,624) want: 8,240 K/sec

drbdadm resize r0

在主节点上

resize2fs /dev/drbd0

简单时间服务器配置

# vim /etc/ntp.conf

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

restrict 127.0.0.1

restrict -6 ::1

restrict 192.168.100.0 mask 255.255.255.0 nomodify

server 220.130.158.71 perfer

server 59.124.196.83