LVS DR模式搭建

  • 准备工作
    • 三台机器
    • 分发器,也叫调度器(简写为dir),IP为21.128
    • rs1,21.129
    • rs2,21.130
    • vip,21.100
    • 在dir上安装ipvsadm
  • dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下
    #! /bin/bash
    echo 1 > /proc/sys/net/ipv4/ip_forward
    ipv=/usr/sbin/ipvsadm
    vip=192.168.21.100
    rs1=192.168.21.129
    rs2=192.168.21.130
    #注意这里的网卡名字
    ifdown ens33
    ifup ens33
    ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
    route add -host $vip dev ens33:2
    $ipv -C
    $ipv -A -t $vip:80 -s rr
    $ipv -a -t $vip:80 -r $rs1:80 -g -w 1
    $ipv -a -t $vip:80 -r $rs2:80 -g -w 1
  • 两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下
    #/bin/bash
    vip=192.168.21.100
    #把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
    ifdown lo
    ifup lo
    ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
    route add -host $vip lo:0
    #以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
    #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  • 分别在dir上和两个rs上执行这些脚本
  • 测试
    • 在浏览器中输入192.168.21.100测试
    • 由于访问量太低,导致测试可能一直在一台机器上,也可以在第四台linux服务器上使用curl测试

      keepalived+lvs

  • 完整架构需要两台服务器(角色为dir)分别安装keepalived软件,目的是实现高可用,但keepalived本身也有负载均衡的功能,所以本次实验可以只安装一台keepalived
  • keepalived内置了ipvsadm的功能,所以不需要再安装ipvsadm包,也不用编写和执行那个lvs_dir的脚本
  • 三台机器分别为:dir(安装keepalived)21.128,rs1 21.129,rs2 21.130,vip 21.100
  • 编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf//内容请到https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/lvs_keepalived.conf 获取

    vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33,你的网卡和阿铭的可能不一样,这里需要你改一下
    interface ens33
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.21.100
    }
    }
    virtual_server 192.168.21.100 80 {
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 0
    #(用TCP协议检查realserver状态)
    protocol TCP
    
    real_server 192.168.21.129 80 {
        #(权重)
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.21.130 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
    }
  • 执行ipvsadm -C 把之前的ipvsadm规则清空掉
    [root@akuilinux01 ~]# ipvsadm -C
    [root@akuilinux01 ~]# ipvsadm -ln
    IP Virtual Server version 1.2.1 (size=4096)
    Prot LocalAddress:Port Scheduler Flags
    -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  • systemctl restart network 可以把之前的vip清空掉
  • 两台rs上,依然要执行/usr/local/sbin/lvs_rs.sh脚本
    #/bin/bash
    vip=192.168.21.100
    #把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
    ifdown lo
    ifup lo
    ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
    route add -host $vip lo:0
    #以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
    #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  • keepalived有一个比较好的功能,可以在一台rs宕机时,不再把请求转发过去
    [root@akuilinux03 ~]# systemctl stop nginx
    [root@akuilinux01 ~]# ipvsadm -ln
    IP Virtual Server version 1.2.1 (size=4096)
    Prot LocalAddress:Port Scheduler Flags
    -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
    TCP  192.168.21.100:80 wlc
    -> 192.168.21.129:80            Route   100    2          3         

    扩展

  • haproxy+keepalived
  • nginx、lvs、haproxy比较
  • keepalived中自定义脚本vrrp_script
  • lvs dr模式只使用一个公网ip的实现方法