LVS+heartbeat 高可用LINUX服务器
主ha服务器设置：
主机名 lvs.abc.com
Ip地址 eth0：192.168.50.9
eth1：192.168.60.9
从ha服务器设置：
主机名 lvs1.abc.com
IP地址 eth0:192.168.50.8
Eth1:192.168.60.8
Realserver1 设置
主机名 web1.abc.com
IP地址 eth0:192.168.50.5
Eth1:192.168.60.5
Realserver2 设置
主机名 web2.abc.com
IP地址 eth0:192.168.50.6
Eth1:192.168.60.6
实验拓扑图：
Heartbeat 安装依赖和支持软件：
- yum –y install libnet*
- yum –y install heartbeat*
- yum -y install heartbeat
- yum –y install ipvsadm*
配置haeartbeat：
复制配置文件
- cp /usr/share/doc/heartbeat-2.1.3/ha.cf /etc/ha.d/
- cp /usr/share/doc/heartbeat-2.1.3/authkeys /etc/ha.d/
- cp /usr/share/doc/heartbeat-2.1.3/haresources /etc/ha.d/
- cp /usr/share/doc/heartbeat-ldirectord-2.1.3/ldirectord.cf /etc/ha.d/
修改配置文件/etc/ha.d/ha.cf
- vim /etc/ha.d/ha.cf
- logfile /var/log/ha-log
- debugfile /var/log/ha-debug
- logfacility local0
- keepalive 2 #主从切换的保持时间
- deadtime 30 #宣布对方死亡时间
- warntime 10 #警告时间
- udpport 694 #主从之间的通信端口
- ucast eth0 192.168.50.8 #采用单播方式探测心跳，bcast是广播方式；后面的地址是对端地址
- auto_failback on #自动恢复，就是说如果主从故障中恢复会抢回主的位置
- node lvs.abc.com #主节点主机名 hostname后的名称
- node lvs1.abc.com #从节点主机名 hostname后的名称
- ping 192.168.50.8 （最好是网关地址）
- ping_group group1 192.168.50.8 192.168.50.9
- ping_group group1 192.168.60.8 192.168.60.9
- respawn hacluster /usr/lib/heartbeat/ipfail
- #如果是64位系统，则目录应该为/usr/lib64/heartbeat/ipfail
- apiauth ipfail gid=haclient uid=hacluster #用户已经自动建立
修改authkeys 验证文件
- vim /etc/ha.d/authkeys
- auth 2 #去掉下面哪行的注释 就填上哪行的行号，此文件主从必须一样。
- #1 crc #crc算法是求和
- 2 sha1 HI! #sha1是hash加密 HI！是被加密的值
- #3 md5 Hello! # md5 加密 hello 加密值
设置验证权限authkeys 的权限（注意：此文件主从必须都是600的权限）
- chmod 600 /etc/ha.d/authkeys
修改ldirectord.cf资源管理文件
- vim /etc/ha.d/ldirectord.cf
- checktimeout=3 #隔3秒没有收到realserver的返回页面，ha认定宕机 服务将不使用
- #该realserver提供服务.
- checkinterval=1 #间隔1秒访问一次real根目录的test.html文件
- #fallback=127.0.0.1:80 # 此处针对全局 下面的fallback 是针对局部的。
- autoreload=yes #当realserver 恢复正常后自动加入队列提供服务
- logfile="/var/log/ldirectord.log" #log日志的路径
- logfile="local0"
- emailalert=XXXXX@fantong.com #接收告警邮件的邮箱
- emailalertfreq=3600
- emailalertstatus=all
- quiescent=no
- # Sample for an http virtual service
- virtual=192.168.50.80:80 #virtual IP 对外IP
- real=192.168.50.5:80 gate Weight 8 #真实服务器必须空4格，Weight 是权重。
- real=192.168.50.6:80 gate Weight 10 #权重高对应的承载能力就高
- #real=192.168.6.6:80 gate
- fallback=127.0.0.1:80 gate #real机器全部宕机由谁来承担。
- service=http
- scheduler=wrr #轮询加权
- protocol=tcp #tcp协议 也支持UDP协议
- checktype=negotiate #很多种选择默认是negotiate通过页面来检测rs
- checkport=80 #检测的端口
- request="test.html" #验证文件必须位于rs机器的网页根目录
- receive="Test Page" #验证文件的内容必须相同
- #virtualhost=www.x.y.z
修改/etc/ha.d/haresources文件
- vim /etc/ha.d/haresources
- lvs.abc.com 192.168.50.80 lvs ldirectord
- #主ha的主机名 + virtual ip（对外提供的IP）+ 需要启动的服务（lvs是下面脚本的名称）
写资源脚本lvs 文件（注意需要根据自身情况修改网卡名）
- vim /etc/init.d/lvs
- #!/bin/bash
- # description: start LVS of DirectorServer
- #Written by :NetSeekhttp://www.linuxtone.org GW=192.168.1.254
- # website director vip.
- GW=192.168.50.80 #网关地址千万不要填错了，否则你的辅助(浮动)ip是无法访问的。
- WEB_VIP=192.168.50.80 #virtual ip 对外的唯一IP
- WEB_RIP1=192.168.50.5
- WEB_RIP2=192.168.50.6
- #WEB_RIP3=1.1.1.18
- #WEB_RIP3=1.1.1.19
- . /etc/rc.d/init.d/functions
- logger $0 called with $1
- case "$1" in
- start)
- # Clear all iptables rules.
- /sbin/iptables -F
- #这个地方要注意一下，如果公司最外端有防火墙，就可以清空iptables内容(都做允许，或#者停止)，把改行注释掉；如果没有就需要有防火墙了，自己写策略或者写脚本。
- # Reset iptables counters.
- /sbin/iptables -Z
- #同上
- # Clear all ipvsadm rules/services.
- /sbin/ipvsadm -C
- #set lvsvip for dr
- /sbin/ipvsadm --set 30 5 60
- /sbin/ifconfig eth0:0 $WEB_VIP broadcast $WEB_VIP netmask 255.255.255.255 up
- /sbin/route add -host $WEB_VIP dev eth0:0
- /sbin/ipvsadm -A -t $WEB_VIP:80 -s wrr -p 3
- /sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP1:80 -g -w 1
- /sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP2:80 -g -w 2
- #/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP3:80 -g -w 1
- #/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP4:80 -g -w 1
- touch /var/lock/subsys/ipvsadm>/dev/null 2>&1
- # set Arp
- /sbin/arping -I eth0 -c 5 -s $WEB_VIP $GW >/dev/null 2>&1
- ;;
- stop)
- /sbin/ipvsadm -C
- /sbin/ipvsadm -Z
- ifconfig eth0:0 down
- route del $WEB_VIP >/dev/null 2>&1
- rm -rf /var/lock/subsys/ipvsadm>/dev/null 2>&1
- /sbin/arping -I eth0 -c 5 -s $WEB_VIP $GW
- echo "ipvsadmstoped"
- ;;
- status)
- if [ ! -e /var/lock/subsys/ipvsadm ];then
- echo "ipvsadm is stoped"
- exit 1
- else
- ipvsadm -ln
- echo "..........ipvsadm is OK."
- fi
- ;;
- *)
- echo "Usage: $0 {start|stop|status}"
- exit 1
- esac
- exit 0
以上文件写好之后，做如下操作
- chmod 755 /etc/init.d/lvs
- ln –s /etc/init.d/lvs /etc/ha.d/resource.d/lvs
#ldirectord 启动的时候会从/etc/init.d 和 /etc/ha.d/resource.d 下搜索资源（ 这里说的资源#就是指脚本）
设置heartbeat ipvsadm 的开机自启动
- Chkconfig heartbeat on
- Chkconfig ipvsadm on
从ha服务器设置：
同样安装所有的依赖和支持软件，操作和主-ha一样的
其他配置文件相同通过scp 从主ha上拷贝修改即可。
- scp root@192.168.50.9:/etc/ha.d/* /etc/ha.d/
复制资源脚本
- scp root@192.168.50.9:/etc/init.d/lvs /etc/init.d/lvs
复制完成后修改ha.cf，其他文件保持一致不必修改（注意看看authkeys的权限）
ucast 192.168.50.9 #单播方式探测心跳，跟的是对端地址 主ha的IP地址
ping 192.168.50.9
资源脚本的链接
- chmod 755 /etc/init.d/lvs
- ln –s /etc/init.d/lvs /etc/ha.d/resource.d/lvs
realserver 真实服务器的配置
创建脚本（用来屏蔽arp，否则会和其他机器产生冲突）：
- vim /usr/local/real.sh
- #/bin/sh
- VIP=192.168.50.80 #virtual ip的地址
- source /etc/rc.d/init.d/functions
- case "$1" in
- start)
- echo "start LVS of RealServer"
- /sbin/ifconfig lo:0 ${VIP} broadcast ${VIP} netmask 255.255.255.255 up
- echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
- echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
- echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
- echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
- ;;
- stop)
- /sbin/ifconfig lo:0 down
- echo "Close LVS of RealServer"
- echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
- echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
- echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
- echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
- ;;
- *)
- echo "wrong,please use start|stop"
- exit 1
- esac
保存脚本 退出
修改权限：
- Chmod 755 /usr/local/real.sh
加入启动：
- Vim /etc/rc.local
- /usr/local/real.sh start
保存后退出
创建index.html test.html2个文件
- Vim /var/www/html/index.html
- test 192.168.50.5
另外的realserver机器写test 192.168.50.6 方便测试
vim /var/www/html/test.html
#这个文件和/etc/ha.d/ldirectord.cf下的receive="Test Page"选项内容保持一致.
否则该机器将无法正常提供服务
主从服务器和真实服务器配置完成.
测试部分
启动主ha服务器
Service heartbeat start
tail –F /var/log/ha-log
tail –F /var/log/message
Heartbeat 正常启动
我们看看网卡是不是正常获取到了virtual ip
看到了吧eth0:0 已经获得了192.168.50.80 的虚拟IP地址了
下面我们看看ipvsadm 的状况：
正常的找到了realserver 机器。
从机器也同样启动 heartbeat
Tail –F /var/log/ha-log
正常启动
Ipvsadm 和 ifconfig
由于是从机器必须探测到主机器故障后才能启动LVS 和资源等。
就可以看到 test 192.168.50.5 按ctrl+F5 就能看到test 192.168.50.6 之间切换。
按F5 刷新 之后看主ha的ipvsadm –L –n –stats
