本文主要介绍的是keepalived配合haproxy实现高可用时的配置,如果有涉及到LVS,配置就不止这么简单了,会涉及到virtual server的配置。

        Keepalived介绍

Keepalived是一个基于VRRP协议来实现的WEB 服务高可用方案,可以利用其来避免单点故障。一个服务至少会有2台服务器运行Keepalived,一台为MASTER,一台为BACKUP,对外表现为一个虚拟IP,MASTER会发送特定的消息给BACKUP,当BACKUP收不到这个消息的时候, BACKUP就会接管虚拟IP,继续提供服务,从而保证了高可用性。

VRRP协议简介

在现实的网络环境中,两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况,它们之间路由怎样选择?主机如何选定到达目的主机的下一跳路由,这个问题通常的解决方法有二种:

在主机上使用动态路由协议(RIP、OSPF等)

在主机上配置静态路由

配置静态路由就变得十分流行,但路由器(或者说默认网关default gateway)却经常成为单点。

VRRP的目的就是为了解决静态路由单点故障问题。

VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

工作机制

在一个VRRP虚拟路由器中,有多台物理的VRRP路由器,但是这多台的物理的机器并不能同时工作,而是由一台称为MASTER的负责路由工作,其它的都是BACKUP,MASTER并非一成不变,VRRP让每个VRRP路由器参与竞选,最终获胜的就是MASTER。MASTER拥有一些特权,比如 拥有虚拟路由器的IP地址,我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

VRRP通过竞选协议来实现虚拟路由器的功能,所有的协议报文都是通过IP多播(multicast)包(多播地址 224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成,对外表现为一个周知的MAC地址。所以,在一个虚拟路由 器中,不管谁是MASTER,对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置,对他们来 说,这种主从的切换是透明的。

在一个虚拟路由器中,只有作为MASTER的VRRP路由器会一直发送VRRP广告包(VRRPAdvertisement message),BACKUP不会抢占MASTER,除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到广告包), 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s),以保证服务的连续性。

由于安全性考虑,VRRP包使用了加密协议进行加密。

安装步骤

下载安装包

  1. mkdir -p /root/softwares/ 
  2. cd /root/softwares/ 
  3. wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz 

安装依赖包

  1. yum install openssl openssl-devel popt -y 

在所有节点安装keepalived

  1. ./configure --prefix=/usr/local/keepalived 
  2. make 
  3. make install 
  4. cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ 
  5. cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ 
  6. cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ 
  7. mkdir -p /etc/keepalived 
  8. cd /etc/keepalived/ 
  9. vi keepalived.conf  

主节点的keepalived配置文件添加如下内容:

  1. global_defs { 
  2.     notification_email { 
  3.                     12346789@xx.com 
  4.     } 
  5.    notification_email_from admin@haproxy01.com 
  6.    smtp_server xxx.xxx.xxx.xxx 
  7.    smtp_connect_timeout 30 
  8.    router_id haproxy01 
  9.  
  10.   
  11. vrrp_instance VI_1 { 
  12.             state MASTER #标示状态为MASTER
  13.             interface eth0 
  14.             virtual_router_id 51 
  15. priority 100 #MASTER权重要高于BACKUP
  16.             advert_int 1 
  17.             authentication { 
  18.                     auth_type PASS #主从服务器验证方式
  19.                     auth_pass aaaaaa 
  20.             } 
  21.             virtual_ipaddress { 
  22.         192.168.1.201 
  23.             } 
  24. }  

备份节点keepalived配置文件添加如下内容:

  1. global_defs { 
  2.    notification_email { 
  3.                     12346789@xx.com 
  4.    } 
  5.    notification_email_from admin@haproxy01.com 
  6.    smtp_server xxx.xxx.xxx.xxx 
  7.    smtp_connect_timeout 30 
  8.    router_id haproxy01 
  9.  
  10.   
  11. vrrp_instance VI_1 { 
  12.             state BACKUP #标示状态为BACKUP
  13.             interface eth0 
  14.             virtual_router_id 51 
  15. priority 100 
  16.             advert_int 1 
  17.             authentication { 
  18.                     auth_type PASS 
  19.                     auth_pass aaaaaa 
  20.             } 
  21.             virtual_ipaddress { 
  22.         192.168.1.201 
  23.             } 

注:global_defs中定义的是报警选项,这个可以去掉

 启动

在主备两个节点都启动进程。

  1. /etc/init.d/keepalived start 

测试

另找一台机器,ping两个keepalived的虚拟地址192.168.1.201。然后终止MASTER节点的keepalived进程,出现断连几次又重新可以ping通的情况说明keepalived是起作用的。

  1. ping 192.168.1.201 
  2. PING 192.168.1.201 (192.168.1.201): 56 data bytes 
  3. 64 bytes from 192.168.1.201: icmp_seq=71 ttl=64 time=0.133 ms 
  4. 64 bytes from 192.168.1.201: icmp_seq=72 ttl=64 time=0.201 ms 
  5. 64 bytes from 192.168.1.201: icmp_seq=73 ttl=64 time=0.236 ms 
  6. 64 bytes from 192.168.1.201: icmp_seq=74 ttl=64 time=0.154 ms 
  7. Request timeout for icmp_seq 75 
  8. Request timeout for icmp_seq 76 
  9. Request timeout for icmp_seq 77 
  10. Request timeout for icmp_seq 78 
  11. 64 bytes from 192.168.1.201: icmp_seq=79 ttl=64 time=0.236 ms 
  12. 64 bytes from 192.168.1.201: icmp_seq=80 ttl=64 time=0.154 ms 

报错解决

 

问题一:[ALERT] 080/100308 (6028) : Starting proxy test-webservers: cannot bind socket

错误原因:端口被占用,需要修改一下端口,在这里提示一下,最好用比较纯洁的系统来运行keepalived+haproxy,尽量避免端口占用的问题。因为当架构中有多个haproxy节点的时候,修改起来比较麻烦。(脚本批量修改的人除外,不过写脚本也是时间呀…)

 

问题二:切换keepalived节点后,需要清楚浏览器cookie才能正常访问。

原因:haproxy配置中,设置了cookie相关的选项,如下:

cookie SERVERID insert indirect nocache

#capture cookie ASPSESSION len 32

但是对于捕获cookie信息的定义给注释掉了。解决办法有两个,一个是把cookie SERVERID insert indirect nocache这一行也注释掉;另一个方法是去掉#capture cookie ASPSESSION len 32的注释。

 

问题三:网络不可达。

原因:keepalived如果在设置IP时不设置掩码,会使用默认掩码。此例中192段私网地址的默认掩码是255.255.255.0(24),而公网地址的默认掩码是255.255.255.255(32)。公网的默认掩码可能与要使用的公网地址掩码不匹配。导致网络不畅。

解决办法:在配置地址时,配置上子网掩码,如下(标红部分):

  1. virtual_ipaddress {  
  2.  192.168.1.201/24 
  3. }