基于hearbeat的高可用集群配置
注意,高可用集群最少需要三个节点,两个节点要想能够运行,必须忽略法定票数,ignore-quorum。而在heartbeat配置中我们使用两个节点,配置文件中ping node 可以另外提供一个节点,ping node 可以ping多个节点,使集群满足法定票数。ignore-quorum是针对后面的corocync而言的,若集群中配置了两个节点,一台挂了,服务是无法转移的,必须忽略法定票数才行。
Stonith是专门的硬件设备,用来将于集群断开连接的节点干掉。
集群中的节点一旦心跳连接没有了,就是所谓的脑裂,它还可以独立运行,还会征用集群的资源,stonith就是用来处理脑裂的工具,但它必须另外使用设备。
一、建立双机互信
节点172.16.5.11中:
# ssh-keygen -t rsa -P ‘’ # ssh-copy-id root@172.16.5.12
节点172.16.5.12中
# ssh-keygen -t rsa -P ‘’ # ssh-copy-id root@172.16.5.11
注意:两个节点时间必须同步,否则会出现各种各样的问题
二、安装heartbeat
解决依赖关系
# yum -y install PyXMLlibnet net-snmp-libs
安装heartbeat需要的包
# rpm -ivh heartbeat-2.1.4-12.el6.x86_64.rpm heartbeat-gui-2.1.4-12.el6.x86_64.rpm heartbeat-stonith-2.1.4-12.el6.x86_64.rpm heartbeat-2.1.4-12.el6.x86_64.rpm 主要的包 heartbeat-gui-2.1.4-12.el6.x86_64.rpm图形界面配置 heartbeat-stonith-2.1.4-12.el6.x86_64.rpm 一个节点挂掉了,必须把它杀死
注意:这几个程序包两台机器上都得装。
三、编辑配置
主配置文件
Authkeys: crc,md5,sha1 Ha.cf:hearbeat Haresources
注意,这三个文件都必须放在/etc/ha.d目录下,但rpm包装完了之后是没有的,要为它提供,在/usr/share/doc/heartbeat-2.1.4目录下,将之copy到/etc/ha.d目录下即可。
# cd /usr/share/doc/heartbeat-2.1.4 # cp authkeys ha.cf haresources /etc/ha.d/ # cd /etc/ha.d # openssl rand -hex 16 >> authkeys
在authkeys中编辑
Auth 3 3 md5 78e282ea3dbff2e7a5614bafc89e0e32
三种加密方式,随便选择一种,但两个节点的此文件必须相同。
# chmod 600 authkeys 不改权限,heartbeat启动不了 # vim ha.cf 配置 节点
mcast eth0 225.30.d0.1 694 1 0 选择组播,单播,不方便,改组播地址,防止所有报文对方都能收到
node www.a.com 添加节点
node www.b.com
ping 172.16.0.1 ping 节点,传递心跳信息的辅助机制,使得满足法定票数。相当于ignore-quarum
logfile /var/log/ha-log 启用后,自动生成文件。
compression bz2 要不要压缩
compression_threshold 2 大于2k才压缩
auto_failback on 当挂掉的节点重新启动之后,自动取代另一节点。
# vim haresources 配置资源
www.a.com 172.16.5.10/16/eth0 httpd
www.a.com指派协调员,当这个节点运行正常时,第二个节点不会启动,但这个节点挂掉之后,另一个节点自动启动。
Heartbeat v1 haresources 在配置文件中定义主节点即:DC指派协调员
Heartbeat v2 crm 在哪个节点启动,该节点就是DC
Heartbeat v3 pacemaker 自定义主节点
四、启动服务
这里要强调指出,当启动服务的时候,必须是对方启动自己,而dump掉却是自己的事。
心跳服务,本身就是我挂了通知你,而在对方没有启动的时候,是由自己通知它启动的,所以,启动的时候也必须是自己去启动对方,这也是为什么要建立双机互信的原因。否则,自己独自启动自己,高可用集群服务不能正常运行。
还要注意一点的是,在启动心跳服务之前,必须将web服务停掉,而且是开机默认不启动
# service httpd stop
# chkconfig mysqld off
两个节点同样操作
# ssh b 'service heartbeat start' # ssh a 'service heartbeat start'
a和b 是两个节点的主机别名。
五、启用nfs服务,让两个节点的首页显示为nfs服务器上挂在的页面。
1、再启动一台机器,创建目录/web/data并在目录下创建web页面
# mkdir -pv /web/data # vim /web/data/index.html <h1>welcome to my home.</h1>
2、导出文件,供节点挂在。
# vim /etc/exports /web/data 172.16.0.0/16(ro)
3、重启nfs,两个节点就可以挂载该挂载点。
六、启动crm集群资源管理器来管理节点
# vim /etc/ha.d/ha.cf
crm respawn ----------------crm启用后,在资源文件中的配置都起不了作用了。
必须在heartbeat启动之后,添加这项配置,否则,如果先添加了这项配置,heartbeat有可能启动不起来。
Crm的客户端工具是hb_gui
跟心跳服务启动之前web服务必须关闭一样,之前挂载的nfs在启动前必须卸载。否则管理器也无法正常管理。
# umount /var/www/html/ -------两个节点都要如此
启动心跳服务 heartbeat,给hacluster用户配置密码后,就可以启用hb_gui了。
# ssh b 'service heartbeat start' # ssh a 'service heartbeat start' # passwd hacluster
两个节点只要给用户hacluster设置了密码,都可以登录管理器,前提是,heartbeat服务必须已经启动。
# hb_gui &
使用crm后,登录管理器,必须进行配置高可用集群才会生效。
一共需要添加三个资源 ip 、nfs(若要共享网页文件,这个资源必须的)、服务httpd
配置vip
配置nfs
配置httpd
管理器在哪个节点启动,主节点就是哪个节点,即dc标志,意思是指派协调员。
配置基于mysql的服务高可用集群
(mysql有服务高可用和存储高可用之分,服务高可用是指在节点上安装服务并配置成高可用,存储高可用是指在节点上配置数据存储,将存储做成高可用)
服务高考可用挂载的是其他服务器上的nfs,而存储高可用挂载点是自己的设备,/dev/drbd0.
1、在nfs服务器上配置导出文件
# vim /etc/exports /mysqldata 172.16.0.0/16(rw,no_root_squash) no_root_squash 不压缩root权限
注意要创建该目录
# mkdir /mysqldata
2、重新导出文件
# exportfs -arv
-a 操作所有文件系统
-r 重新导出
-v 详细信息
Nfs服务器需要开机自动启动,因为它并不参与集群,只是提供共享文件,不需要心跳链接来管理。
3、在三个节点上分别创建mysql用户,使得它们拥有同样的id号,以便能够实现id映射,让三台服务器都对mysql都有操作权限。
# useradd -u 306 -r mysql--------三个节点进行同样操作
4、在两个节点安装mysql的通用二进制包
详细请看http://qiufengsong.blog.51cto.com/7520243/1284355
数据文件,先不要初始化,只创建/mydata目录,之前的过程请看链接中的步骤。
5、创建目录/mydata,作为数据目录的挂载点,如果原先该目录下已经有文件,将之全部删除,这种方案因该是针对mysql通用二进制包有效,因为它可以初始化数据文件。
# mkdir /mydata
6、挂载nfs文件到一个节点,创建data目录,修改data权限并初始化mysql
注意:只需要初始化一次就行了,千万不要再去另一个 节点初始化一次了。
# mount 172.16.251.95:/mysqldata /mydata # cd /mydata # mkdir data # chown -R mysql.mysql data # cd /usr/local/mysql # scripts/mysql_install_db --user=mysql --datadir=/mydata/data # cd /mydata/data # chown -R mysql.mysql *
7、启动服务看看,应该没什么问题。在另一个节点安装mysql通用二进制包到初始化数据文件截止,不用初始化数据文件,因为它要和另一个节点实现数据共享,只需要挂在了nfs上的文件,就可以直接启动mysql服务了。不出意外的话,应该没什么问题了。
8、注意:实验中可能会出现两个节点挂在的nfs文件无法卸载,这时要看看mysqld服务是否停止。没问题就可以启动hb_gui添加资源,并对添加的资源进行管理了。
9、其实,上面这些学完了,就差不多了,至于资源约束的问题,原理比较复杂,做起来很简单,随后会做补充,或者在之后的博客中也可以看到。