目录

  • 一、LVS-DR模式
  • 二、LVS-DR数据包的流向分析
  • 三、LVS-DR中的ARP问题
  • 四、案例部署
  • 4.1 案例环境
  • 4.2 案例配置
  • 4.3 效果验证


一、LVS-DR模式

关于群集的负载调度技术，可以基于IP端口，内容等进行分发，其中IP负载均衡技术是效率最高的。

在基于IP的负载均衡模式中，常见的有地址转换，IP隧道、直接路由 这三种工作模式：

  • 直接路由；简称DR模式
  • 采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。
  • 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

二、LVS-DR数据包的流向分析

为方便进行原理分析，将Client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4。

LVS 负载均衡 安装使用 lvs udp数据负载均衡_负载均衡

  2. Client向目标VIP发出请求，Director (负载均衡器)接收。此时IP包头及数据帧头信息为：

    3. LVS 负载均衡 安装使用 lvs udp数据负载均衡_负载均衡_02

  3. .Director根据负载均衡算法选择RealServer_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送。IP包头及数据帧头信息如下：

LVS 负载均衡 安装使用 lvs udp数据负载均衡_运维_03

  1. RealServer_1收到这个帧，解封装后发现目标IP与本机匹配(RealServer事先绑定了VIP) ，于是处理这个报文。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信息为:

LVS 负载均衡 安装使用 lvs udp数据负载均衡_运维_04

  1. Client将收到回复报文。 Client认为得到正常的服务，而不会知道是哪一台服务器处理的
    注意：如果跨网段，那么报文通过路由器经由 terne返回给用户

三、LVS-DR中的ARP问题

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址

  • 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱
  • 当一个ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上的，它们都会接收到ARP广播
  • 此时只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播

LVS 负载均衡 安装使用 lvs udp数据负载均衡_IP_05

  • 对节点服务器进行处理，使其不响应针对VIP的ARP请求
  • 使用虚接口lo:0承载ⅥP地址
  • 设置内核参数 arp_ignore=1：系统只响应目的IP为本地IP的ARP请求

LVS 负载均衡 安装使用 lvs udp数据负载均衡_LVS 负载均衡 安装使用_06

  • RealServe返回报文（源IP是VIP）经路由器转发，在重新封装报文时需要先获取路由器的MAC地址
  • 发送ARP请求时， Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口（例如ens33）的IP地址

    • LVS 负载均衡 安装使用 lvs udp数据负载均衡_LVS 负载均衡 安装使用_07

  • 路由器收到ARP请求后，将更新ARP表项
  • 原有的VIP对应 Director的MAC地址会被更新为ⅥP对应RealServer的MAC地址

LVS 负载均衡 安装使用 lvs udp数据负载均衡_负载均衡_08

  • 问题

此时新来的请求报文，路由器根据ARP表项，会将该报文转发给RealServer，从而导致 Director的VIP失效

LVS 负载均衡 安装使用 lvs udp数据负载均衡_IP_09

  • 解决办法

对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

修改/etc/sysctl.conf文件

#对节点服务器进行处理，使其不响应针对VIP的ARP请求
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
#系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

四、案例部署

4.1 案例环境

服务器

IP地址

LVS调度服务器

172.16.1.10/16

172.16.1.5/32（VIP)

Web服务器1

172.16.1.20/16

Web服务器2

172.16.1.30/16

NFS服务器

172.16.1.40/16

4.2 案例配置

  • LVS
[root@lvs ~]# systemctl stop firewalld
[root@lvs ~]# setenforce 0
#加载LVS内核
[root@lvs ~]# modprobe ip_vs
[root@lvs ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn
#安装管理软件ipvsadm
[root@lvs ~]# yum -y install ipvsadm
[root@lvs ~]# cd /etc/sysconfig/network-scripts/
[root@lvs ~]# vi dr.sh
#!/bin/bash
# dr调度服务器安装
ifconfig ens33:0 172.16.1.5 broadcast 172.16.1.5  netmask 255.255.255.255 up       #添加虚拟地址的虚接口
route add -host 172.16.1.5 dev ens33:0      #给ens33:0添加路由
ipvsadm -C                  #清除内核虚拟服务器表中的所有记录
ipvsadm -A -t 172.16.1.5:80 -s rr            #创建虚拟服务器 
ipvsadm -a -t 172.16.1.5:80 -r 172.16.1.20:80 -g     #添加服务器节点
ipvsadm -a -t 172.16.1.5:80 -r 172.16.1.30:80 -g     #添加服务器节点
ipvsadm -Ln     #查看节点状态，加个"-n"将以数字形式显示地址、端口信息
[root@lvs ~]# sh dr.sh
  • Web-1
[root@web-1 ~]# systemctl stop firewalld
[root@web-1 ~]# setenforce 0
[root@web-1 ~]# yum -y install httpd
[root@web-1 ~]# mount 172.16.1.40:opt/web1 /var/www/html/
[root@web-1 ~]# systemctl start httpd
[root@web-1 ~]# curl localhost
<html>server-1</html>
[root@web-1 ~]# vi web1.sh 
#!/bin/bash
# web1
ifconfig lo:0 172.16.1.5 broadcast 172.16.1.5 netmask 255.255.255.255 up
route add -host 172.16.1.5 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null
[root@web-1 ~]# sh web1.sh
  • Web-2
[root@web-2 ~]# systemctl stop firewalld
[root@web-2 ~]# setenforce 0
[root@web-2 ~]# yum -y install httpd
[root@web-2 ~]# mount 172.16.1.40:opt/web2 /var/www/html/
[root@web-2 ~]# systemctl start httpd
[root@web-2 ~]# curl localhost
<html>server-2</html>
[root@web-2 ~]# vi web2.sh 
#!/bin/bash
# web2
ifconfig lo:0 172.16.1.5 broadcast 172.16.1.5 netmask 255.255.255.255 up
route add -host 172.16.1.5 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null
[root@web-2 ~]# sh web2.sh
  • nfs
[root@nfs ~]# systemctl stop firewalld
[root@nfs ~]# setenforce 0
[root@nfs ~]# yum -y install rpcbind nfs-utils 
[root@nfs ~]# mkdir /opt/web1 /opt/web2
[root@nfs ~]# echo "<html>server-1</html>" > /opt/web1/index.html
[root@nfs ~]# echo "<html>server-2</html>" > /opt/web2/index.html
[root@nfs ~]# vi /etc/exports
/opt/web1       172.16.1.0/24(rw,sync)
/opt/web2       172.16.1.0/24(rw,sync)
[root@nfs ~]# systemctl start rpcbind
[root@nfs ~]# systemctl start nfs
[root@nfs ~]# showmount -e
Export list for nfs:
/opt/web2 172.16.1.30
/opt/web1 172.16.1.20

4.3 效果验证

多次访问调度服务器的外网地址，即虚拟服务器地址。发现已实现负载均衡

LVS 负载均衡 安装使用 lvs udp数据负载均衡_lvs_10


LVS 负载均衡 安装使用 lvs udp数据负载均衡_LVS 负载均衡 安装使用_11

在调度服务器查看记录

LVS 负载均衡 安装使用 lvs udp数据负载均衡_IP_12