LB负载均衡集群

转载

AM学linux 2017-08-08 11:05:25

文章标签 linux 文章分类 运维

常用的负载均衡开源软件有： nginx、lvs、keepalived
商业的硬件负载设备： F5、Netscale

1. LB、LVS介绍LB集群是load balance 集群的简写，翻译成中文就是负载均衡集群
http://www.aminglinux.com/bbs/data/p_w_upload/forum/201406/16/115112w1we1x4e5ueewzrd.png
LVS是一个实现负载均衡集群的开源软件项目
LVS架构从逻辑上可分为调度层(Director)、server集群层(Real server)和共享存储层
LVS可分为三种工作模式:  ( dr模式参考这篇文章  http://os.51cto.com/art/201105/264303.htm 这篇介绍的还是挺详细的： http://www.it165.net/admin/html/201401/2248.html )

NAT(调度器将请求的目标ip即vip地址改为Real server的ip, 返回的数据包也经过调度器，调度器再把源地址修改为vip)
http://www.aminglinux.com/bbs/data/p_w_upload/forum/201406/16/115114l0ez0aga011e901u.jpg

TUN(调度器将请求来的数据包封装加密通过ip隧道转发到后端的real server上，而real server会直接把数据返回给客户端，而不再经过调度器)
DR(调度器将请求来的数据包的目标mac地址改为real server的mac地址，返回的时候也不经过调度器，直接返回给客户端)
http://www.aminglinux.com/bbs/data/p_w_upload/forum/201406/16/115116xqv78w7v860vq8h6.jpg三种IP：DIP(driector ip), VIP(virtual ip), RIP(Real IP). 其中DIP, RIP 为同一个网段，并且为私网IP, vip为对外提供服务的ip，Director, Real server上都设置vip
LVS的调度算法：轮叫调度(Round Robin)(简称rr) ,加权轮叫(Weighted Round Robin)(简称wrr),最少链接(least connection)(LC),加权最少链接(Weighted Least Connections)(WLC) 等等 (其他算法，参考 http://www.aminglinux.com/bbs/thread-7407-1-1.html)

2. LVS/NAT 配置
三台服务器一台作为director, 两台作为real server
Director 有一个外网ip (192.168.31.166) 和一个内网ip(192.168.21.166), 两个real server上只有内网ip(192.168.21.100)和(192.168.21.101) 并且需要把两个real server的内网网关设置为director的内网ip(192.168.21.166)
vmware网络设置： http://www.apelearn.com/bbs/thread-10536-1-1.html

两个real server 上都安装httpd: yum install -y nginx
Director上安装ipvsadm  yum install -y  ipvsadm
Direcotr 上 vim /usr/local/sbin/lvs_nat.sh //增加:

#! /bin/bash
# director 服务器上开启路由转发功能:
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.21.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.31.166:80 -s lc -p 300
$IPVSADM -a -t 192.168.31.166:80 -r 192.168.21.100:80 -m -w 1
$IPVSADM -a -t 192.168.31.166:80 -r 192.168.21.101:80 -m -w 1

直接运行这个脚本就可以完成lvs/nat的配置了:
/bin/bash /usr/local/sbin/lvs_nat.sh
通过浏览器测试两台机器上的web内容，为了区分开，我们可以把nginx的默认页修改一下：
rs1上： echo "rs1rs1" >/usr/share/nginx/html/index.html
rs2上： echo "rs2rs2" >/usr/share/nginx/html/index.html

3. LVS/DR 配置
三台机器:
director(eth0192.168.31.166, vip eth0:0: 192.168.31.110)
real server1(eth0 rip: 192.168. 31.100, vip lo:0: 192.168.31.110)
real server2(eth0 rip: 192.168.31.101, vip lo:0: 192.168.31.110)
Director 上 vim /usr/local/sbin/lvs_dr.sh //增加

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.31.110
rs1=192.168.31.100
rs2=192.168.31.101
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

两台rs上：vim /usr/local/sbin/lvs_dr_rs.sh
#! /bin/bash
vip=192.168.31.110
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

关于arp_ignore和 arp_announce 参考：http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

然后director上执行: bash /usr/local/sbin/lvs_dr.sh
两台rs上执行: bash /usr/local/sbin/lvs_dr_rs.sh
Windows下浏览器测试访问

4. LVS/DR + keepalived配置
注意：前面虽然我们已经配置过一些操作，但是下面我们使用keepaliave操作和之前的操作是有些冲突的，所以若是之前配置过DR，请首先做如下操作：dr上执行：

$ipv -C
ifconfig eth0:0  down

前面的lvs虽然已经配置成功也实现了负载均衡，但是我们测试的时候发现，当某台real server把httpd进程停掉，那么director照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测real server的状态，这就是keepalived。它的作用除了可以检测rs状态外，还可以检测备用director的状态，也就是说keepalived可以实现ha集群的功能，当然了也需要一台备用director.
备用director也需要安装一下keepalived软件
yum install -y keepalived
安装好后，编辑配置文件
vim /etc/keepalived/keepalived.conf //加入如下：
vrrp_instance VI_1 {
state MASTER #备用服务器上为 BACKUP
interface eth0
virtual_router_id 51
priority 100  #备用服务器上为90
advert_int 1
authentication {
      auth_type PASS
      auth_pass 1111
}
virtual_ipaddress {
      192.168.31.110
}
}
virtual_server 192.168.31.110 80 {
delay_loop 6                #(每隔10秒查询realserver状态)
lb_algo wlc                #(lvs 算法)
lb_kind DR                #(Direct Route)
persistence_timeout 60       #(同一IP的连接60秒内被分配到同一台realserver)
protocol TCP             #(用TCP协议检查realserver状态)

real_server 192.168.31.100 80 {
      weight 100             #(权重)
      TCP_CHECK {
      connect_timeout 10    #(10秒无响应超时)
      nb_get_retry 3
      delay_before_retry 3
      connect_port 80
      }
}
real_server 192.168.31.101 80 {
      weight 100
      TCP_CHECK {
      connect_timeout 10
      nb_get_retry 3
      delay_before_retry 3
      connect_port 80
      }
   }
}

以上为主director的配置文件，从director的配置文件只需要修改
state MASTER  -> state BACKUP
priority 100 -> priority 90
配置完keepalived后，需要开启端口转发（主从都要做）：
echo 1 > /proc/sys/net/ipv4/ip_forward
然后，两个rs上执行 /usr/local/sbin/lvs_dr_rs.sh 脚本
最后，两个director上启动keepalived服务（先主后从）：
/etc/init.d/keepalived start
另外，需要注意的是，启动keepalived服务会自动生成vip和ipvsadm规则，不需要再去执行上面提到的/usr/local/sbin/lvs_dr.sh 脚本。

nginx ip_hash 实现长连接

upstream test {
ip_hash;
server 192.168.31.100;
server 192.168.31.101;
}
server {
listen 80;
server_name bbs.aaa.cn;
location / {
proxy_pass http://test/;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}

扩展学习：
lvs原理相关的 http://blog.csdn.net/pi9nc/article/details/23380589
haproxy+keepalived  http://blog.csdn.net/xrt95050/article/details/40926255
nginx、lvs、haproxy比较  http://www.csdn.net/article/2014-07-24/2820837
keepalived中自定义脚本 vrrp_script http://www.linuxidc.com/Linux/2012-08/69383.htm http://my.oschina.net/hncscwc/blog/158746
nginx代理  http://www.apelearn.com/bbs/thread-64-1-1.html
nginx长连接  http://www.apelearn.com/bbs/thread-6545-1-1.html
nginx算法分析 http://blog.sina.com.cn/s/blog_72995dcc01016msi.html
lvs dr模式只使用一个公网ip的实现方法 http://storysky.blog.51cto.com/628458/338726