Director对于LVS来说,是重中之重,所有对服务的请求都要经过它 向他身后提供服务的集群进行转发,但它也是LVS高负载均衡集群的不稳定因素,如果Director主机宕机,后方的服务集群也就不能够提供服务了,这是坚决不允许出现的情况,因此我们可以通过为Director提供高可用集群服务来保证当一个Director宕机之后,还有其它的Director可以替代提供服务,知道宕机的Director重新恢复。
我们使用高可用集群解决方案之一 ——Heartbeat来实现这个目的
我们先来考虑一个问题,当Director的主节点宕机之后,必须要将资源转移到备节点上,否则备节点也只是摆设,并不能替代宕机的主节点来完成Director的工作。关键就在这个资源转移的方法上。
Heartbeat为LVS中的Director实现高可用集群量身定做了套解决方案,我们只需要在Heartbeat的几个配置文件中进行简单的配置,我们所需要的目的都统统能够实现,不仅如此,它自身还具备了帮我们检测后方服务集群中主机服务状态的功能,简直让我们喜出望外,下面我们就通过一个简单的实验来阐明这个观点。
实验拓扑如图:
我们要实现的LVS的类型为DR,即直接路由
route为连接外网的路由器,switch为内网中的交换机,RS1、RS2为提供web服务的集群,直接和交换机相连,ND1、ND2为LVS中的两个Director节点,我们要对这连个Director节点实现高可用集群服务,两个Director和交换机直接相连之外,两个节点之间还需要直接连接进行心跳等基本信息的传递。
每个有标记的块状物为网卡,上面是编号,在连个ND节点之间有一个被称为资源一部分的VIP在哪个节点上是不固定的,外网的用户也是通过这个VIP来访问我们的web服务的。
开始配置: 设定VIP为192.168.0.85/24
一、我们先来RS1和RS2让其称为一个web服务的集群
1、对RS1的配置
(1)、对realserver配置内核参数:
先来解释一下修改内核参数的原因,因为在DR模型中RS1、RS2在lo:0上都配置了VIP的地址,是为了在数据包响应用户的时候源地址为用户访问的VIP地址,但是在数据包进入路由器之后,在我们的内网中有多个VIP地址,路由器将不能将其转发到应该得到数据包的ND上,为了避免这种情况出现,我们就修改内核参数来让RS上的VIP网卡不对路由器的产生响应即可。
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
(2)、为RS1配置虚拟的VIP地址(是为了实现在数据包返回用户的时候源地址为用户访问的地址)
ifconfig lo:0 192.168.0.85 broadcast 192.168.0.85 netmask 255.255.255.255 up
为RS1的eth0网卡添加地址
ifconfig eth0 192.168.0.206/24
(3)、给realserver主机添加路由信息
route add -host 192.168.0.85 dev lo:0 设定相应的数据包的源地址都为这个地址
(4)、为RS1安装web服务
yum install php php-mbstring mysql mysql-server httpd php-mysql
(5)、为实现结果为web指定一个有其代号的网页,并写一个有ok的测试网页
echo RS1 > /var/www/html/index.html
echo ok > /var/www/html/.ok.html
(6)、测试httpd服务能否正常运行,测试结果如下:
2、对RS2进行配置
(1)、RS2的eth0端口配置
ifconfig eth0 192.168.0.207/24
(2)、写入网页
echo RS2 > /var/www/html/index.html
其他配置和RS1完全一样,不再演示:
对RS2的web服务进行验证,结果如下:
二、对两个Director节点进行配置:
配置两个Director节点,ND1为node1,ND2为node2
1、给node1配置地址
ifconfig eth0 192.168.0.202/24
ifconfig eth1 1.1.1.1
给noid2配置地址
ifconfig eth0 192.168.0.204/24
ifconfig eth1 1.1.1.2
2、配置本地主机名称解析
在node1上
vim /etc/hosts 添加如下内容
192.168.0.202 node1.a.org
192.168.0.204 node2.a.org
对node1、node2的主机名进行相应的修改
在node1上
hostname node1.a.org
在node2上
hostname node2.a.org
3、只有我们要多次在连个节点间拷贝文件,为了省去繁琐的密码输入,我们在两个节点上进行如下配置
在node1上
ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.0.204
在node2上
ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.0.202
从此我们在两个节点上拷贝文件就不需要输入密码了
4、开始安装集群服务
(1)、下载安装包
heartbeat-ldirectord-2.1.4-9.el5.i386.rpm
perl-MailTools-1.77-1.el5.noarch.rpm
heartbeat-2.1.4-9.el5.i386.rpm
heartbeat-pils-2.1.4-10.el5.i386.rpm
heartbeat-devel-2.1.4-9.el5.i386.rpm
heartbeat-stonith-2.1.4-10.el5.i386.rpm
heartbeat-gui-2.1.4-9.el5.i386.rpm
libnet-1.1.4-3.el5.i386.rpm
创建一个目录将所用的安装包都放在这个目录内
mkdir node
将软件包移动进目录的命令我就不再说明了
(2)、安装 这些软件包,因为他们之间有依赖关系,所以使用yum安装
cd node
yum localinstall * --nogpgcheck –y
前两步需要在两个节点上都进行同样的操作
(3)、将heartbeat的配置文件移动到/etc/下
cd /usr/share/doc/hearbeat-2.1.4
cp ha.cf authkeys /etc/ha.d
cd /usr/share/doc/heartbeat-ldirectord-2.1.4
cp ldirectord.cf /etc/ha.d/
(4)、编辑配置文件/etc/ha.d/ha.cf
vim /etc/ha.d/ha.cf 进行如下修改
打开日志 logfile /var/log/ha-log
打开 udpport 694 两节点用此端口发送心跳信息
添加 bcast eth1 发送心跳信息的网卡
添加定义节点 node node1.a.org
node node2.a.org
(5)、编辑配置文件/etc/ha.d/authkeys
vim /etc/ha.d/authkeys 添加如下内容
auth 2
2 sha1 kfhslkdhfsk(md5加密后的字符串,想要得到这个字符串运行如下命令,在将结果粘贴即可
dd if=/dev/urandom bs=512 count=1 | md5sum)
将此文件的权限改为400
chmod 400 authkeys
(6)、编辑配置文件/etc/ha.d/ldirectord.cf
修改结果如下:
checktimeout=3 对后端的RS进行服务状态检测的超时时间
checkinterval=1 每次一秒检测一次
autoreload=yes
logfile="/var/log/ldirectord.log" 开启错误日志
quiescent=yes
virtual=192.168.0.85:80 指定VIP地址
real=192.168.206:80 gate 200 指定RS1的IP、服务端口、lvs的类型、权重(实际的大小为*100)
real=192.168.207:80 gate 600
fallback=127.0.0.1:80 gate
service=http 提供的服务
request=".ok.html" 对RS进行状态检测是检测的网页
receive="ok" 在网页中搜索的关键字,只要找到这个关键字就认为是服务正常
scheduler=rr LVS使用的调度算法
protocol=tcp 使用的协议
checktype=negotiate 检测的类型
checkport=80 检测的端口
(7)、将我们配置的这三个文件拷贝到node2上
cd /etc/ha.d
scp ha.cf authkeys ldirectord node2.a.org:/etc/ha.d
(8)、启动heartbeat
在哪个节点上启动第一个该服务,以后所有的这个服务必须在这个节点上启动
我们就在node1上启动heartbeat服务
/etc/init.d/heartbeat start
在node1上启动node2的heartbeat服务
ssh node2 --‘/etc/init.d/heartbeat start’
(9)、在每个节点上都启动ldirectord服务
service ldirectord start
查看我们的Director高可用集群是否正常启动:
执行命令:
crm_mon
可能刚开始看到的显示为:
表示没有启动,但是别急多等一会,比较慢,我们过一会再看,如果看到显示如下表示成功:
图片底部的信息表示Director的主节点为ND1
接下来我们在浏览器中输入192.168.0.85进行测试,看能够看到网页,如果看到表示LVS的服务正常:
我们将主节点的服务关闭,看资源是否成功流转到ND2上
在node1上执行 /etc/init.d/heartbeat stop
至执行成功之后到node2上,在此查看资源状态
结果显示,node1已经宕机,此时node2已经称为主节点
我们再次验证,Director高性能集群能否提供LVS功能:
继续在浏览器中数据192.168.0.85
结果显示,RS集群还能够提供web服务,表示Director集群依然能够正常工作