2018-07-23笔记（Linux集群架构 lvs keepalived）

原创

qq5af04a1b11143 2018-07-25 11:19:29 ©著作权

©著作权归作者所有：来自51CTO博客作者qq5af04a1b11143的原创作品，请联系作者获取转载授权，否则将追究法律责任

18.11 LVS DR模式搭建

原理： client 发送一个pv请求给VIP；VIP 收到这请求后会跟LVS设置的LB算法选择一个LB 比较合理的realserver，然后把此请求的package 的MAC地址修改为realserver的MAC地址，realserver 处理这个包后，会跟dst 为client ip 直接发送给 client ip；不经过lvs LVS DR模式的注意情况：

1、 LVS 的VIP 和 realserver 必须在同一个网段，不然广播后所有的包都会丢掉：提前确认LVS/硬件LB 是什么模式，是否需要在同一个网段 2、所有的realserver 都必须绑定VIP的IP地址，否则realserver 收到package后发现dst 不是自己的IP，所有包都会丢掉。 3、realserver·处理完包后直接把package 通过dst IP 发送给 client ，不通过LVS/迎接IP 了这样的LVS /VIP 效率会更高一点。【通过把realserver的ip暴漏给外界，不是很安全】 **DR模式搭建 – 准备工作 ** 三台机器

dir
192.168.66.130 
rs1 
192.168.66.131 
rs2 
192.168.66.132 
dir和rs上都要绑定的vip 
192.168.66.200

**1、dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh **//内容如下

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.66.200
rs1=192.168.66.131
rs2=192.168.66.132
#注意这里的网卡名字,设置虚拟网卡
#重启是为了防止重复执行
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
#-g就是dr模式
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

注：执行ifdown和ifup是为了清除执行脚本时设定的虚拟网卡IP，避免重复执行脚本时会重复设定 2、两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下

#/bin/bash
vip=192.168.11.200
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

关于脚本中的arp_ignore和arp_announce参数

脚本定义/lo/arp_ignore和/all/arp_ignore： arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 4-7 - 保留未使用 8 -不回应所有（本地地址）的arp查询脚本定义/lo/arp_announce和/all/arp_announce： arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口

0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送分别在dir上和两个rs上执行这些脚本

3、运行脚本 分别在dir以及rs上执行相应的脚本

dir
[root@dir130 ~]# sh /usr/local/sbin/lvs_dr.sh
成功断开设备 'ens33'。
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/9）
rs1
[root@rs1-131 ~]# sh /usr/local/sbin/lvs_rs.sh
rs2
[root@rs2-132 ~]# sh /usr/local/sbin/lvs_rs.sh

4、测试效果 在dir上执行ipvsadm -ln查看主机

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wrr
  -> 192.168.66.131:80              Route   1      1          1         
  -> 192.168.66.132:80              Route   1      1          1

可以看到两台rs 用同网段的另外一台机器curl命令访问这个vip（curl测试vip在rs上不太好用的，因为在本机绑定了这个vip，若是访问vip，等于访问自己）

[root@localhost ~]# curl 192.168.66.200
Master Master
[root@localhost ~]# curl 192.168.66.200
backup backup
[root@localhost ~]# curl 192.168.66.200
Master Master
[root@localhost ~]# curl 192.168.66.200
backup backup

因为我两台rs上的nginx定义了不同的index.html以便区分，可以看到测试是成功的

18.12 keepalived + LVS

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能(其实keepalived的负载均衡的功能就是lvs),所以本次实验可以只安装一台keepalived 使用keepalived+lvs的好处：一：lvs，它有个关键角色，就是dir分发器，如果分发器宕掉，那所有的访问就会被终止，因为所有的入口全都在dir分发器上，所以需要把分发器做一个高可用，用keepalived实现高可用，并且keepalived还有负载均衡的作用。二：在使用lvs的时候，如果没有额外的操作，这时将一个rs机器关机（宕机）时，lvs照样会分发数据到这台宕机机器，这是就会出现访问无效的情况，说明lvs并不聪明；这时使用keepalived，就可以保证集群中其中一台rs宕机了，web还能正常提供，不会出现用户访问时无效链接的结果；一般这种架构，肯定是2台keepalived；

因为keepalived内置了ipvsadm的功能，所以不再需要安装ipvsadm的包，也不用再编写和执行dir上的.sh脚本准备三台机器，分别为 dir（安装keepalived）192.168.66.130 rs1 192.168.66.130 rs2 192.168.66.131 vip 192.168.66.200 在dir分发器（A机器）上，清空ipvsadm规则，并查看ipvsadm规则，会发现已经清空

[root@dir130 ~]# ipvsadm -C
[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

1、在分发器130上编辑配置文件，在/etc/keepalived/keepalived.conf 配置，配置文件内容 因为之前做实验里面编辑过配置文件，这时直接删除，然后粘贴新的配置文件修改配置文件中的网卡、vip ，还有rs机器上的IP

[root@dir130 ~]# vim /etc/keepalived/keepalived.conf
#内容如下
vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33，根据你机器实际的网卡修改
    interface ens33
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.66.200        //vip 地址
    }
}
virtual_server 192.168.66.200 80 {        //vip 地址
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 60
    #(用TCP协议检查realserver状态)
    protocol TCP
    real_server 192.168.66.131 80 {        //rs1机器
        #(权重)
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.66.132 80 {        //rs2机器
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

保存退出 2、在R1和R2服务器上编写脚本并执行，内容如下：

vi /usr/local/sbin/lvs_dr.sh

#/bin/bash
vip=192.168.142.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

3、启动dir130的keeplived服务

[root@dir130 ~]# systemctl start keepalived
[root@dir130 ~]# ps aux |grep keepalived
root      3006  0.0  0.1 121324  1404 ?        Ss   07:16   0:00 /usr/sbin/keepalived -D
root      3007  0.0  0.2 121448  2732 ?        S    07:16   0:00 /usr/sbin/keepalived -D
root      3008  0.0  0.2 121324  2336 ?        S    07:16   0:00 /usr/sbin/keepalived -D
root      3014  0.0  0.0 112672   984 pts/0    R+   07:16   0:00 grep --color=auto keep

4、查看ipvsadm规则

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wlc persistent 60
  -> 192.168.66.131:80            Route   100    0          0         
  -> 192.168.66.132:80            Route   100    0          0

5、测试 关闭其中一台rs2的nginx服务，看会不会自动剔除

[root@rs2-132 ~]# systemctl stop nginx

在dir上查看ipvsadm规则

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wlc persistent 60
  -> 192.168.66.131:80            Route   100    0          0

可以看到已经自动剔除，只剩下rs1了把rs2的nginx服务打开，看会不会自动加入

[root@rs2-132 ~]# systemctl start nginx

在dir上查看ipvsadm规则

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wlc persistent 60
  -> 192.168.66.131:80            Route   100    0          0         
  -> 192.168.66.132:80            Route   100    0          0

可以看到已经自动加入综上所述，keepalived 有一个比较好的功能，可以检测rs上服务运行的情况，在一台rs宕机的时候，及时把它踢出 ipvsadm 集群，将不再发送数据包给它，这样很好的避免了访问无连接的情况发生 注意事项：两点 1.打开dir机器的端口转发

echo 1 > /proc/sys/net/ipv4/ip_forward   //打开端口转发

2、在rs机器上创建的/usr/local/sbin/lvs_rs.sh脚本，依然要执行它

vi /usr/local/sbin/lvs_dr.sh   #内容如下

#/bin/bash
vip=192.168.142.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

扩展 heartbeat和keepalived比较http://blog.csdn.net/yunhua_lee/article/details/9788433 DRBD工作原理和配置 http://502245466.blog.51cto.com/7559397/1298945 mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313 lvs 三种模式详解 http://www.it165.net/admin/html/201401/2248.html lvs几种算法 http://www.aminglinux.com/bbs/thread-7407-1-1.html 关于arp_ignore和 arp_announce http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html lvs原理相关的 http://blog.csdn.net/pi9nc/article/details/23380589 haproxy+keepalived http://blog.csdn.net/xrt95050/article/details/40926255 nginx、lvs、haproxy比较 http://www.csdn.net/article/2014-07-24/2820837 keepalived中自定义脚本 vrrp_script http://my.oschina.net/hncscwc/blog/158746 lvs dr模式只使用一个公网ip的实现方法 http://storysky.blog.51cto.com/628458/338726