操作思考:通过DRBD实现数据同步,通过Corosync+Pacemaker(下图简称CP)实现检测故障并转移,常规状态下仅其中一台工作,另一台仅检测和同步数据,当有故障时,Server2自动接管一切业务,并向另一台同步数据(当然,此时不一定能同步成功..)。图示如下:
操作环境:
rhel5.8 (光盘yum源)
192.168.88.20 demo1.mos.com demo1
192.168.88.21 demo1.mos.com demo2
内核:2.6.18-308.el5PAE
检查Selinux关闭之
检查Iptables清空之
若无特殊说明,笔者都在demo1(192.168.88.20)操作
所需软件包,笔者直接打包放到网盘了:
md5校验:6ac5ae5b40a1021e1fcc3ce6d372a6a7
http://pan.baidu.com/share/link?shareid=131508&uk=1678158691
第一步:设置实验环境(时间同步,双机互信,hosts解析)
1. demo1(192.168.88.21)操作如下:
- # ssh-keygen (几下回车即可)
- # cd /root/.ssh
- # cat id_rsa.pub >> authorized_keys
- # > known_hosts
- # scp * 192.168.88.21:/root/.ssh/ (输入其密码)
# vim /etc/hosts
192.168.88.20 demo1.mos.com demo1
192.168.88.21 demo1.mos.com demo2
# scp /etc/hosts demo2:/etc# vim /etc/sysconfig/network (demo2上修改为demo2)
NETWORKING=yes
HOSTNAME=demo1.mos.com
2.时间同步,11281050等于11月28号10点50分
- # ssh demo2 'date 11281050'; date 11281050
第二步:安装配置DRBD
DRBD(Distributed Replicated Block Device),类似于iSCSI,都是块级别的共享,都不能检测文件系统是否正常或崩溃,但是其默认的情况下的主从工作模式中,仅允许主服务的设备可以被操作,从设备仅接收主设备的所有数据更改,不能被程序操作,甚至读也不行。
在其主的一方故障时,由高可用集群软件迅速切换主从角色,以实现快速故障转移。其核心功能通过Linux内核实现。
1. 下载并安装所需软件包
- # mkdir pv /root/download 笔者软件目录
- # cd /root/download
- # tar xf all.tar.gz 上面链接里面的软件包
- # yum -y --nogpgcheck localinstall *.rpm
其实drbd只需要其中两个含有drbd名字的包即可,但是下几步操作会需要,便一起安装了,如果之前有安装过openais需删除,命令:yum remove openais -y
2. 复制配置文件模板,并创建自定义配置文件
- # cp /usr/share/doc/drbd83-8.3.8/drbd.conf /etc
- # vim /etc/drbd.d/global-common.conf 主配置文件,简单修改即可
- global {
- usage-count no;
- }
- common {
- protocol C; #协议C,同步复制协议,保证数据的有效性,但占用带宽
- handlers {
- ----此处两段不做修改即可,太多了不贴了
- disk {
- on-io-error detach; 对磁盘的定义,哪个IO错误就拆哪个
- }
- net {
- cram-hmac-alg "sha1"; #加密传输
- shared-secret "mydrbdlab"; #加密用的随机字符串
- }
- syncer {
- rate 100M; #可用带宽多少
- }
- }
- # vim /etc/drbd.d/http.res #定义http资源
- resource http {
- device /dev/drbd1;
- disk /dev/sda6;
- meta-disk internal;
- on demo1.mos.com {
- address 192.168.88.20:7799;
- }
- on demo2.mos.com {
- address 192.168.88.21:7799;
- }
- }
- # vim /etc/drbd.d/mysql.res #定义mysql资源,效果一样
- resource mysql {
- on demo1.mos.com {
- device /dev/drbd0;
- disk /dev/sda5;
- address 192.168.88.20:7789;
- meta-disk internal;
- }
- on demo2.mos.com {
- device /dev/drbd0;
- disk /dev/sda5;
- address 192.168.88.21:7789;
- meta-disk internal;
- }
- }
3. 创建drbd数据同步所需的分区
demo1,demo2都要有,大小自定,但必须保持两个主机的磁盘大小和编号一致,笔者只给了1G,两个主机均为:/dev/sda5和/dev/sda6
这个笔者操作就不写了,真的需要的话,笔者的shell编程里面,有个能自动创建的磁盘分区,有兴趣的去看看,得改几个变量..
4. 将刚才的几个配置文件同步到demo2,并创建对应的drbd设备
- # scp /etc/drbd.conf demo2:/etc/
- # scp /etc/drbd.d/* demo2:/etc/drbd.d/
- # drbdadm create-md mysql
- # drbdadm create-md http
- # ssh demo2 'drbdadm create-md mysql'
- # ssh demo2 'drbdadm create-md http'
5. 启动服务,并格式化磁盘
- # service drbd start
- # ssh demo2 'service drbd start'
- # drbdsetup /dev/drbd0 primary -o #将本机的设置为主
- # drbdsetup /dev/drbd1 primary -o
- # watch -n1 'drbd-overview' 观察数据同步情况,ctrl+c退出。
- # drbd-overview #查看状态,当为下面内容时,进行下一步操作
- 0:mysql Connected Primary/Secondary UpToDate/UpToDate C r----
- 0:http Connected Primary/Secondary UpToDate/UpToDate C r----
- # mke2fs -j /dev/drbd0
- # mke2fs -j /dev/drbd1
- # mount /dev/drbd0 /data/ #此处/data没有的话,自行创建
6. 简单测试,正常后取消其开机自动启动,由于下一步需要,暂不停止服务
- # echo 'This is a test message' > /data/a.txt
- # umount /data
- # drbdadm secondary mysql #drbd提供的管理工具,具体用法见man
- # ssh demo2
- # drbdadm Primary mysql
- # mount /dev/drbd0 /data/ 检查/data里面是否有a.txt,且自身是否可写即可
- # echo 'This is a test message demo2' > /data/b.txt
- # drbdadm secondary mysql
- # umount /data && chkconfig drbd off && logout
- # drbdadm primary mysql
- # drbdadm primary http
- # chkconfig drbd off
7. 查看drbd状态及错误处理
如果遭遇如下图错误时,一般就是传说中闹裂了。
解决方法是,在你认为是备用数据的节点上执行如下操作:清空本地不一致数据
然后在主节点上重新连接资源即可:# drbdadm connect all
第三步: 安装Apache、MySQL和PHP及简单搭建一个Wordpress
1. MySQL安装,笔者偷个懒,直接下载的tar.gz,解压后,简单配置即可使用
- # cd ~/download
- # wget http://cdn.mysql.com/Downloads/MySQL-5.5/mysql-5.5.28-linux2.6-i686.tar.gz
- # tar xf mysql-5.5.28-linux2.6-i686.tar.gz -C /usr/local/
- # cd /usr/local/
- # ln -sv mysql-5.5.28-linux2.6-i686 mysql
- # cd mysql
- # useradd -r mysql # 必须保证两个节点的mysql用户的uid和gid一致
- # chown -R root.mysql .
- # mount /dev/drbd0 /data
- # chown -R mysql. /data
- # scripts/mysql_install_db --user=mysql --datadir=/data
- # cp /usr/local/mysql/support-files/my-large.cnf /etc/my.cnf
- # vim /etc/my.cnf
- thread_concurrency = 2 #修改
- datadir = /data #添加到[mysqld]段内即可
- # cp /usr/local/mysql/support-files/mysql.server /etc/rc.d/init.d/mysqld
- # service mysqld start
- # echo 'MANPATH /usr/local/mysql/man' >> /etc/man.config
- # ln -sv /usr/local/mysql/include /usr/include/mysql
- # echo '/usr/local/mysql/lib' > /etc/ld.so.conf.d/mysql.conf && ldconfig
- # echo 'export PATH=$PATH:/usr/local/mysql/bin' > /etc/profile.d/mysql.sh
- # . /etc/profile.d/mysql.sh
- # service mysqld start
- # mysql <---直接敲回车,为wordpress提供数据库及认证信息
- mysql> create database wp;
- mysql> GRANT ALL ON wp.* TO 'blog'@'192.168.88.200' IDENTIFIED BY '123';
- mysql> FLUSH PRIVILEGES ;
- mysql> \q
- # chkconfig --add mysqld
- # chkconfig mysqld off
- ----给demo2提供相关的mysql文件------------
- # cd ~/download
- # scp mysql-5.5.28-linux2.6-i686.tar.gz demo2:~/download/
- # ssh demo2
- # useradd -r mysql #请务必保证跟demo1的mysql的uid和gid一致
- # tar xf mysql-5.5.28-linux2.6-i686.tar.gz -C /usr/local/
- # echo 'MANPATH /usr/local/mysql/man' >> /etc/man.config
- # ln -sv /usr/local/mysql/include /usr/include/mysql
- # echo '/usr/local/mysql/lib' > /etc/ld.so.conf.d/mysql.conf && ldconfig
- # echo 'export PATH=$PATH:/usr/local/mysql/bin' > /etc/profile.d/mysql.sh
- # . /etc/profile.d/mysql.sh
- # scp demo1:/etc/my.cnf /etc/
- # chkconfig --add mysqld
- # chkconfig mysqld off && logout
2 .安装Apache、PHP和wordpress
- # yum install httpd php53 php53-mysql –y
- # ssh demo2 'yum install httpd php53 php53-mysql –y'
- # service httpd start
- # mount /dev/drbd1 /var/www/html
- # cd /var/www/html
- # wget http://cn.wordpress.org/wordpress-3.4.2-zh_CN.tar.gz
- # tar xf wordpress-3.4.2-zh_CN.tar.gz
- # mv wordpress/* .
- # cp wp-config-sample.php wp-config.php
- # vim wp-config.php #仅修改前四行有效行
- define('DB_NAME', 'wp');
- define('DB_USER', 'blog');
- define('DB_PASSWORD', '123');
- define('DB_HOST', '192.168.88.200');
- ...........
- # ifconfig eth0:0 192.168.88.200
# 打开浏览器输入 http://192.168.88.200 输入用户名密码后稍作等待即可.
3. 在demo2做简单测试,仍直接在demo1上操作
- # cd
- # service network restart #清除刚才定义的网卡
- # service mysqld stop
- # service httpd stop
- # umount /data && umount /var/www/html
- # drbdadm secondary mysql
- # drbdadm secondary http
- # ssh demo2
- # drbdadm primary mysql
- # drbdadm primary http
- # mount /dev/drbd0 /data #/data若无,则自行创建
- # mount /dev/drbd1 /var/www/html
- # service mysqld start
- # service httpd start
- # ifconfig eth0:0 192.168.88.200/24
至此,再次打开浏览器,查看http://192.168.88.200 若正常,则应该出现wordpress界面
第四步: 使用pacemaker的crm配置corosync
配置高可用集群时,需确保所调用管理的服务,设备,IP等资源都处于没有使用以及没有开机启动状态。因此,第一步,检查并关闭所有之前开启的资源等。
1.检查并修改为节点所需状态
- # chkconfig httpd off && service httpd stop
- # chkconfig mysqld off && service mysqld stop
- # chkconfig drbd off && service drbd stop
- # umount /data && umount /var/www/html
- # ssh demo2
- # chkconfig httpd off && service httpd stop
- # chkconfig mysqld off && service mysqld stop
- # chkconfig drbd off && service drbd stop
- # umount /data && umount /var/www/html
2.配置两个节点的corosync配置文件
- # cd /etc/corosync/
- # cp corosync.conf.example corosync.conf
- # vim corosync.conf
- # Please read the corosync.conf.5 manual page
- compatibility: whitetank
- totem {
- version: 2
- secauth: on
- threads: 1
- interface {
- ringnumber: 0
- bindnetaddr: 192.168.88.1
- mcastaddr: 226.94.11.13
- mcastport: 5405
- }
- }
- logging {
- fileline: off
- to_stderr: no
- to_logfile: yes
- to_syslog: no
- logfile: /var/log/cluster/corosync.log
- debug: off
- timestamp: on
- logger_subsys {
- subsys: AMF
- debug: off
- }
- }
- amf {
- mode: disabled
- }
- service {
- var: 0
- name: pacemaker
- }
- aisexec {
- user: root
- group: root
- }
- # corosync-keygen
- # mkdir /var/log/cluster
- # ssh demo2 'mkdir /var/log/cluster'
- # scp authkey corosync.conf demo2:/etc/corosync/
- # service corosync start;ssh demo2 'service corosync start’
3. 各种约束,各种配置..
1) 实验环境,关闭stonith设备支持;并且,由于是两个节点的特殊高可用集群,因此也关闭quorum投票机制。
- # crm configure property stonith-enabled=false
- # crm configure property no-quorum-policy=ignore
2)配置DRBD资源,笔者更喜欢进入crm操作(你猜我会说是因为它能命令补全么..)..
- # crm
- crm(live)# configure
- crm(live)configure # primitive DRBD ocf:linbit:drbd params drbd_resource="mysql" op start interval="0" timeout="240" op stop interval="0" timeout="100"
- crm(live)configure # primitive WEB ocf:linbit:drbd params drbd_resource="http" op start interval="0" timeout="240" op stop interval="0" timeout="100"
3)配置DRDB资源为主从类资源(两个节点,只有一个能在工作状态)
- crm(live)configure # master MS_DRBD DRBD meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
- crm(live)configure # master MS_WEB WEB meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
4)配置存储类资源(LAMP所需的web文件和mysql数据)
- crm(live)configure # primitive FS ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/data" fstype="ext3" op start interval="0" timeout="60" op stop interval="0" timeout="60"
- crm(live)configure # primitive WEBFS ocf:heartbeat:Filesystem params device="/dev/drbd1" directory="/var/www/html" fstype="ext3" op start interval="0" timeout="60" op stop interval="0" timeout="60"
5)配置服务类资源和IP资源(LAMP所需的服务和IP)
- crm(live)configure # primitive HTTP lsb:httpd
- crm(live)configure # primitive MySQL lsb:mysqld
- crm(live)configure # primitive IP ocf:heartbeat:IPaddr2 params ip="192.168.88.200"
6)配置位置约束(LAMP需要都运行在一起),以及考虑demo2性能略好于demo1,因此,尽量让服务都运行在demo2上。
- crm(live)configure # colocation FS_on_MS_DRBD inf: FS MS_DRBD:Master
- DRBD的mysql主资源要和使用的文件系统在一起
- crm(live)configure # colocation HTTP_on_IP inf: HTTP IP
- 网页和IP要在一起,约束了两个主资源在一起
- crm(live)configure # colocation HTTP_on_WEBFS inf: WEBFS HTTP
- 网页文件要和Apache在一起
- crm(live)configure # colocation IP_with_MS_DRBD inf: IP MS_DRBD:Master
- IP要和MySQL资源在一起
- crm(live)configure # colocation MySQL_with_FS inf: MySQL FS
- 数据库服务要和其数据资源在一起
- crm(live)configure # colocation WEBFS_on_MS_WEB inf: WEBFS MS_WEB:Master
- 网页文件要和DRBD的http主资源在一起
- crm(live)configure # location DEMO2 MS_DRBD inf: demo2.mos.com
- 只要有一点可能,就要让所有服务工作在 demo2.mos.com
7)配置启动次序约束(例如,如果MySQL数据没挂载,就启动MySQL服务..你懂的)
- crm(live)configure # order FS_after_MS_DRBD inf: MS_DRBD:promote FS:start
- DRBD的mysql资源为主,然后再挂载到/data
- crm(live)configure # order WEBFS_after_MS_WEB inf: MS_WEB:promote WEBFS:start
- DRBD的http资源为主,然后再挂载/var/www/html
- crm(live)configure # order MySQL_after_FS inf: FS MySQL
- MySQL数据挂载后,再启动MySQL服务
- crm(live)configure # order HTTP_after_WEBFS inf: WEBFS HTTP
- 网页文件挂载后再启动
8) 检查语法是否错误,并提交操作
- crm(live)configure # verify 没提示,就是好消息
- crm(live)configure # commit 提交
9) 最后配置完成执行:# crm configure show 见下图:
4. 检查当前状态,并做简单测试即可
# crm status #查看当前服务工作状态,如下图,也可以打开网页192.168.88.200查看是否工作
# crm node standby 模拟故障,可以看到demo1不在线,处于待命状态如下图:同时刷新网页,正常工作,没有问题,可以打开网页192.168.88.200查看是否正常
# crm node online 恢复demo1的状态为在线,然后就会又看到第一个图
# ssh demo2 'service corosync stop' 停止掉demo2的服务,查看如下:
此时服务又转移到demo1上去了..看,很神奇,不是吗…哈哈
对了,如果使用 crm status查看到如下错误时,使用: # crm resource cleanup NFS (NFS是笔者上次定义的资源,这个名字是自己取的)清除一下错误的资源缓存神马的...估计就问题不大了。见下图:
今天笔者实验时又遇到了这个问题,后来仔细排查,是因为 顺序约束有些逻辑冲突(A在B后启动,又在C后启动,C又在A后启动之类的错误,总之肯定会出事的),后来修改后就OK了…