HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上.

   haproxy 配置中分成五部分内容,分别如下:

1、global:参数是进程级的,通常是和操作系统相关。这些参数一般只设置一次,如果配置无误,就不需要再次进行修改

2、defaults:配置默认参数,这些参数可以被用到frontend,backend,Listen组件

3、frontend:接收请求的前端虚拟节点,Frontend可以更加规则直接指定具体使用后端的backend

4、backend:后端服务集群的配置,是真实服务器,一个Backend对应一个或者多个实体服务器

5、Listen Fronted和backend的组合体

 

HAProxy负载均衡策略非常多,HAProxy的负载均衡算法现在具体有如下8种:

① roundrobin,表示简单的轮询,这个不多说,这个是负载均衡基本都具备的;

② static-rr,表示根据权重,建议关注;

③ leastconn,表示最少连接者先处理,建议关注;

④ source,表示根据请求源IP,这个跟Nginx的IP_hash机制类似,我们用其作为解决session问题的一种方法,建议关注;

⑤ ri,表示根据请求的URI;

⑥ rl_param,表示根据请求的URl参数’balance url_param’ requires an URL parameter name;

⑦ hdr(name),表示根据HTTP请求头来锁定每一次HTTP请求;

⑧ rdp-cookie(name),表示根据据cookie(name)来锁定并哈希每一次TCP请求。

 

      

192.168.1.90
             +-----------VIP----------+  
             |                        |
             |                        |
           Master                   Backup
        192.168.0.110            192.168.0.111
        +----------+             +----------+
        | HAProxy  |  ß------à | HAProxy  |
        |keepalived|             |keepalived|
        +----------+             +----------+
             | 
             v 
    +-----------+---------+
    |           |         |
    |           |         |
    v           v         v
+--------+  +-------+  +-------+
| Docker |  | Docker | | Docker |
|  WEB1  |  |  WEB2 | |  WEB3  |
+--------+  +-------+  +-------+

 

 

安装HAProxy,KeepAlived

add-apt-repository ppa:vbernat/haproxy-1.5
apt-get update
apt-get install haproxy

 

修改配置

sudo vim /etc/haproxy/haproxy.cfg
 
global
         #log /dev/log   local0
         #log /dev/log   local1 notice    #定义haproxy 日志级别[error warringinfo debug]
log 127.0.0.1 local2                   #日志输出配置,所有日志都记录在本机,通过local2输出
         chroot /var/lib/haproxy            #chroot运行路径
    nbproc  1               #设置进程数量
         stats socket /run/haproxy/admin.sock mode 660 level admin        #定义统计信息保存位置
         stats timeout 30s                       #监控页面超时时间
         user haproxy                                #运行haproxy 用户
         group haproxy                             #运行haproxy 用户组
         daemon                                         #以后台形式运行harpoxy
 
         # Default SSL material locations
         ca-base /etc/ssl/certs
         crt-base /etc/ssl/private
 
         # Default ciphers to use on SSL-enabled listening sockets.
         # For more information, see ciphers(1SSL). This list is from:
         #  https://hynek.me/articles/hardening-your-web-servers-ssl-ciphers/
         ssl-default-bind-ciphers ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5:!DSS
         ssl-default-bind-options no-sslv3
 
defaults
         log    global                          #设置日志继承全局配置段的设置
         mode        http                    #设置haproxy的运行模式,有三种{http|tcp|health},tcp是4层,http是7层,health只会返回OK
         option       abortonclose
    option  http-server-close       #打开http协议中服务器端关闭功能,使得支持长连接,使得会话可以被重用,使得每一个日志记录都会被记录。
         option       httplog              #表示开始打开记录http请求的日志功能
         option       dontlognull       #如果产生了一个空连接,那这个空连接的日志将不会记录。
    timeout connect 5000     #haproxy与后端服务器连接超时时间,如果在同一个局域网可设置较小的时间。
    timeout client  50000    #定义客户端与haproxy连接后,数据传输完毕,不再有数据传输,即非活动连接的超时时间
    timeout server  50000  #定义haproxy与上游服务器非活动连接的超时时间。
       
listen admin_stats  #frontend和backend的组合体,监控组的名称,按需自定义名称
         bind 0.0.0.0:8080    #配置监听端口
         mode http                  #配置监控运行的模式,在这为http模式。
         option httplog           #表示开始打开记录http请求的日志功能
         maxconn 10               #最大连接数
    stats enable             #开启统计页面
    stats hide-version    #配置隐藏统计页面上的HAproxy版本信息。
    stats refresh 30s     #配置每隔30秒自动刷新监控页面。
    stats show-node      #
    stats auth admin:admin  #设置监控页面的用户和密码:admin,可以设置多个用户名
stats uri /haproxy              #统计页面url
stats admin if TRUE #设置手工启动/禁用,后端服务器
 
#设置错误页面
         errorfile 400 /etc/haproxy/errors/400.http
         errorfile 403 /etc/haproxy/errors/403.http
         errorfile 408 /etc/haproxy/errors/408.http
         errorfile 500 /etc/haproxy/errors/500.http
         errorfile 502 /etc/haproxy/errors/502.http
         errorfile 503 /etc/haproxy/errors/503.http
         errorfile 504 /etc/haproxy/errors/504.http
 
 
frontend www-frontend           #定义一个名为www-frontend的frontend。
         Bind *:80 #定义haproxy前端部分监听的端口。
         reqadd X-Forwarded-Proto:\ http   #
         default_backend http-backend        #定义默认backend
         option  forwardfor          #使后端server获取到客户端的真实IP
         acl http hdr(host) -i www.aaa.com          #根据域名定义acl
         acl web    hdr(host) -i www.bbb.com
         use_backend http-backend if http            #定义访问www.aaa.com的到http-backend
         use_backend web-backend if web            #定义访问www.bbb.com的到web-backend
 
backend http-backend
         balance roundrobin          #定义负载均衡方式,roundrobin轮询方式
         cookie SERVERID insert indirect nocache
    server web1 192.168.0.110:8001 cookie A check inter 1500 weight 1 rise 3 fall 3 
    server web2 192.168.0.110:8002 cookie B check inter 1500 weight 2 rise 3 fall 3
server web3 192.168.0.110:8003 cookie C check inter 1500 weight 3 rise 3 fall 3
#chookie指定serverID ,check inter指定检测心跳频率,rise指定正确次数,fall指定失败次数,weight代表权重
backend web-backend
         balance roundrobin          #定义负载均衡方式,roundrobin轮询方式
         cookie SERVERID insert indirect nocache
    server www1 192.168.0.111:8010 cookie A check inter 1500 weight 1 rise 3 fall 3
    server www2 192.168.0.111:8020 cookie B check inter 1500 weight 2 rise 3 fall 3
 
listen tcptest            #设置Frontend和Backend的组合体,监控组的名称,按需要自定义名称 
    bind 0.0.0.0:8009    #设置监听端口
    mode tcp                  #采用tcp
    option tcplog            #采用tcp日志格式  
    balance source         #定义负载均衡方式
    server s1 192.168.0.111:8010 weight 1 check inter 1500 rise 3 fall 3
         server s2 192.168.0.111:8020 weight 2 check inter 1500 rise 3 fall 3

 

日志配置

sudo vi /etc/rsyslog.d/50-default.conf

增加以下一行

local2.*        /var/log/haproxy.log
sudo vi /etc/rsyslog.conf

找到下面两行,把注释去掉

#$ModLoad imudp
#$UDPServerRun 514

重启rsyslog服务

sudo service rsyslog restart

 

重启haproxy服务

Sudo service haproxy restart

 

 

配置KeepAlived

Sudo vim /etc/keepalived/keepalived.conf ! Configuretion File for keepalived
globel_defs{
    notification_email {
         yqb813@gmail..com        #指定keepalived在切换时需要发送到的email对象,一行一个
  }
    notification_email_from root@localhost        ##指定发件人
    smtp_server 127.0.0.1                      #指定SMTP服务器地址
    smtp_connect_timeout 30                         #指定SMTP连接超时时间
    router_id HAProxy_DEVEL                        #设置lvs的id,在一个网络内应该是唯一的
}

 

#监测haproxy进程状态,每2秒执行一次

vrrp_script chk_haproxy {
    script "/usr/local/keepalived/chk_haproxy.sh"
    interval 2
    weight 2
}
 
vrrp_instance VI_1{
    state MASTER #指定keepalived的角色,MASTER为主,BACKUP为备
    interface eth0 #设置实例绑定到那个网卡
    virtual_router_id 200 #VRID标记(0~255),主备要保持相同
    priority 150 #优先级,MASTER要高于BACKUP的优先级(至少50)
    advert_int 3 #检查间隔时间,默认1秒
    authentication {
         auth_type PASS #指定要使用那一种认证(PASS|AH)
         auth_pass 111111 #指定要使用的密码字符串
    }
 
    track_script {
         chk_haproxy              #监测haproxy进程状态
    }
 
    virtual_ipaddress {
         192.168.0.90 dev eth0    #定义虚拟IP(VIP),可多设,每行-个
    }
}
/usr/local/keepalived/chk_haproxy.sh
 
 
#!/bin/bash
#
# description:
# 定时查看haproxy是否存在,如果不存在则启动haproxy,
# 如果启动失败,则停止keepalived
#
status=$(ps aux|grep haproxy | grep -v grep | grep -v bash | wc -l)
if [ "${status}" = "0" ]; then
    /etc/init.d/haproxy restart
 
    status2=$(ps aux|grep haproxy | grep -v grep | grep -v bash |wc -l)
 
    if [ "${status2}" = "0"  ]; then
            /etc/init.d/keepalived stop
    fi
fi

 

 

高可用测试

在master停掉keepalived,查看系统日志

发现master释放了vip

 

keepalived的负载均衡算法 keepalived做负载均衡_keepalived的负载均衡算法

 

在backup查看系统日志,发现backup已经进入master 角色,并绑定vip

 

 

keepalived的负载均衡算法 keepalived做负载均衡_ci_02

 

在master上启动keepalived,查看系统日志,发现重新获得master角色,并绑定vip

 

 

keepalived的负载均衡算法 keepalived做负载均衡_系统日志_03

 

在backup上查看系统日志,发现重新回到backup角色,并释放vip

 

keepalived的负载均衡算法 keepalived做负载均衡_keepalived的负载均衡算法_04