Centos7.3部署LVS负载均衡

原创

田味居士 2017-11-29 15:41:10 ©著作权

文章标签 Centos 部署 LVS 文章分类 开源

©著作权归作者所有：来自51CTO博客作者田味居士的原创作品，谢绝转载，否则将追究法律责任

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。LVS 简单工作原理：用户请求LVS VIP，LVS根据转发方式和算法，将请求转发后端服务器，后端服务器接受到请求，返回给用户。对用户来说，看不到WEB后端具体的应用。LVS转发方式有三种，分别是NAT、DR、TUN模式，常用算法：RR、LC、WRR、WLC模式等（RR为轮询模式，LC为最少连接模式）LVS NAT原理：用户请求LVS到达director,director将请求的报文的目标地址改成后端的realserver地址，同时将报文的目标端口也改成后端选定的realserver相应端口，最后将报文发送到realserver，realserver将数据返给director，director再把数据发送给用户。（两次请求都经过director，所以访问大的话，director会成为瓶颈）LVS DR原理：用户请求LVS到达director,director将请求的报文的目标MAC地址改成后端的realserver MAC地址，目标IP为VIP（不变），源IP为用户IP地址（保持不变），然后Director将报文发送到realserver，realserver检测到目标为自己本地IP，如果在同一个网段，然后将请求直接返给用户。如果用户跟realserver不在一个网段，则通过网关返回用户。（此种转发效率最高）LVS TUN原理：跟LVS DR类似，也是改变封装MAC地址，多了一层隧道加密。实施环境复杂，比LVS DR模式效率略低。

实验环境：两台服务器部署，IP地址为：192.168.10.30、192.168.10.31 VIP：192.168.10.32 [root@server ~]# cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core)

[root@lvs ~]# yum install ipvsadm keepalived -y [root@lvs ~]# ipvsadm -version //查看IPVS版本信息 [root@lvs ~]# ipvsadm -Ln //查看LVS转发列表 [root@lvs ~]# ipvsadm -Ln --timeout //查看LVS的超时时间 [root@lvs ~]# ipvsadm --set 5 10 10 //修改LVS对转发过的请求超时时间

LVS存在分设与合设，分设就是服务器单独安装LVS，合设就是跟业务网元一起安装在相同服务器上，合设时需要注意25%的几率会出现调度跟业务流出现死循环，需要在iptables里面对入流做标记过滤。 1. 分设主备配置示例： [root@lvs ~]# vim /etc/keepalived/keepalived.conf //主用

! Configuration File for keepalived

global_defs { router_id LVS_Master }

vrrp_instance VI_WEB { state MASTER interface bond0 virtual_router_id 110 priority 200 advert_int 3 authentication { auth_type PASS auth_pass 1212 } virtual_ipaddress { 192.168.10.32 } }

virtual_server 192.168.10.32 80 { delay_loop 6 lb_algo lc lb_kind DR persistence_timeout 60 protocol TCP real_server 192.168.10.23 80 { weight 100
TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.24 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.25 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.26 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }

[root@lvs ~]# vim /etc/keepalived/keepalived.conf //备用

! Configuration File for keepalived

global_defs { router_id LVS_Backup }

vrrp_instance VI_WEB { state BACKUP interface bond0 virtual_router_id 110 priority 120 advert_int 3 authentication { auth_type PASS auth_pass 1212 } virtual_ipaddress { 192.168.10.32 } }

virtual_server 192.168.10.32 80 { delay_loop 6 lb_algo lc lb_kind DR persistence_timeout 60 protocol TCP real_server 192.168.10.23 80 { weight 100
TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.24 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.25 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.26 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }

2. 合设主备配置示例：

[root@lvs~]# vim /etc/sysconfig/iptables //主用（写备用LVS的MAC）

*mangle :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A PREROUTING -d 192.168.10.32/32 -p tcp -m tcp --dport 80 -m mac ! --mac-source 0c:c4:7a:82:dc:ce -j MARK --set-xmark 0x3 -A INPUT -d 224.0.0.18 -i bond0 -j ACCEPT COMMIT

[root@lvs ~]# vim /etc/keepalived/keepalived.conf //主用

! Configuration File for keepalived

global_defs { router_id LVS_Master }

vrrp_instance VI_WEB { state MASTER interface bond0 virtual_router_id 110 priority 200 advert_int 3 authentication { auth_type PASS auth_pass 1212 } virtual_ipaddress { 192.168.10.32 } }

virtual_server fwmark 3 { delay_loop 6 lb_algo lc lb_kind DR persistence_timeout 60 protocol TCP real_server 192.168.10.23 80 { weight 100
TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.24 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.25 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.26 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }

[root@lvs~]# vim /etc/sysconfig/iptables //备用（写主用LVS的MAC）

*mangle :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A PREROUTING -d 192.168.10.32/32 -p tcp -m tcp --dport 80 -m mac ! --mac-source 0c:c4:7a:82:dc:cf -j MARK --set-xmark 0x4 -A INPUT -d 224.0.0.18 -i bond0 -j ACCEPT COMMIT

[root@lvs ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs { router_id LVS_Backup }

vrrp_instance VI_WEB { state BACKUP interface bond0 virtual_router_id 110 priority 120 advert_int 3 authentication { auth_type PASS auth_pass 1212 } virtual_ipaddress { 192.168.10.32 } }

virtual_server fwmark 4 { delay_loop 6 lb_algo lc lb_kind DR persistence_timeout 60 protocol TCP real_server 192.168.10.23 80 { weight 100
TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.24 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.25 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.10.26 80 { weight 100 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }

[root@lvs ~]# systemctl enable keepalived && systemctl start keepalived [root@lvs ~]# systemctl list-unit-files | grep keepalived [root@lvs ~]# tail -f /var/log/messages

如上设置，LVS 主备配置完毕，接下来需要在realserver配置LVS VIP，为什么要在realserver绑定VIP呢？客户端访问director的VIP，director接收请求，将通过相应的算法将请求转发给相应的realserver。在转发的过程中，会修改请求包的目的mac地址，目的ip地址不变。Realserver接收请求，并直接响应客户端。这时便出现一个问题，director此时与realserver位于同一个网络中，当director直接将请求转发给realserver时，realserver检测到该请求包的目的ip是vip而并非自己，便会丢弃，而不会响应。为了解决这个问题，所以需要在所有Realserver上都配上VIP。为什么一定要配置在lo接口上呢？在realserver上的lo口配置VIP,这样限制了VIP不会在物理交换机上产生MAC地址表，从而避免IP冲突。 [root@realserver ~]# vim /usr/bin/realserver.sh

#! /bin/bash #description: Config realserver lo and apply noarp LVS_VIP=192.168.10.32 case "$1" in start) ifconfig lo:0 $LVS_VIP netmask 255.255.255.255 broadcast $LVS_VIP /sbin/route add -host $LVS_VIP dev lo:0 echo "1" >/proc/sys/net/ipv4/conf/bond0/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/bond0/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce sysctl -p >/dev/null 2>&1 echo "RealServer Start OK" exit 0 ;; stop) ifconfig lo:0 down route del $EPG_VIP >/dev/null 2>&1 echo "0" >/proc/sys/net/ipv4/conf/bond0/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/bond0/arp_announce echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce echo "RealServer Stoped" exit 1 ;; status) # Status of LVS-DR real server. islothere=/sbin/ifconfig lo:0 | grep $LVS_VIP isrothere=netstat -rn | grep "lo:0" | grep $LVS_VIP if [ ! "$islothere" -o ! "isrothere" ];then # Either the route or the lo:0 device echo "LVS-DR real server Stopped." else echo "LVS-DR Running." fi ;; *) # Invalid entry. echo "$0: Usage: $0 {start|status|stop}" exit 1 ;; esac

[root@realserver ~]# chmod +x /usr/bin/realserver.sh [root@realserver ~]# sh /usr/bin/realserver.sh start