一、 LVS-DR 工作原理

LVS-DR(Linux Virtual Server Director Server)工作模式,是生产环境中最常用的一 种工作模式。

  • LVS-DR 模式,Director Server 作为群集的访问入口,不作为网关使用
  • 节点 Director Server 与 Real Server 需要在同一个网络中,返回给客户端的数据不需要经过 Director Server。
  • 为了响应对整个群集的访问,Director Server 与 Real Server 都需要配置 VIP 地址。
  • 客户机发起请求,经过调度服务器(lvs),经过算法调度,去访问真实服务器(RS)。
  • 由于不原路返回,客户机不知道,真实主机的ip地址,所以只能通过调度服务器的外网ip(vip)去返回报文信息

二、 数据包流向

LVS负载均衡群集部署——DR直接路由模式_vim

  1. 户端客户端发送请求到 Director Server,请求的数据报文(源 IP 是 CIP,目标 IP 是 VIP) 到达内核空间。
  2. 客户端发送请求到 Director Server,请求的数据报文(源 IP 是 CIP,目标 IP 是 VIP) 到达内核空间。
  3. Director Server 和 Real Server 在同一个网络中,数据通过二层数据链路层来传输。
  4. 内核空间判断数据包的目标 IP 是本机 VIP,此时 IPVS 比对数据包请求的服务是否是集群服务,是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC 地址,修改目标 MAC 地址为 Real Server 的 MAC 地址,源 IP 地址与目标 IP 地址没有改 变,然后将数据包发送给 Real Server。
  5. 到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址,就接收此报文。数 据包重新封装报文(源 IP 地址为 VIP,目标 IP 为 CIP),将响应报文通过 lo 接口传送给物理 网卡然后向外发出。
  6. Real Server 直接将响应报文传送到客户端。

三、DR 模式的特点

  1. Director Server 和 Real Server 必须在同一个物理网络中。
  2. Real Server 可以使用私有地址,也可以使用公网地址。如果使用公网地址,可以通过互联网对 RIP 进行直接访问。
  3. Director Server作为群集的访问入口,但不作为网关使用。
  4. 所有的请求报文经由 Director Server,但回复响应报文不能经过 Director Server。
  5. Real Server 的网关不允许指向 Director Server IP,即Real Server发送的数据包不允许经过 Director Server。
  6. Real Server 上的 lo 接口配置 VIP 的 IP 地址。

四、部署LVS-DR集群

LVS负载均衡群集部署——DR直接路由模式_vim_02

环境介绍:
DR 服务器:192.168.131.23
web 服务器1:192.168.131.19
web 服务器2:192.168.131.22
vip(虚拟回环):192.168.131.100
客户端:192.168.131.200
NFS服务器:192.168.131.18

4.1、配置nfs服务器(192.168.131.18)

4.1.1. #关闭防火墙

systemctl stop firewalld
setenforce 0

LVS负载均衡群集部署——DR直接路由模式_vim_03

4.1.2. #安装nfs服务

yum install nfs-utils rpcbind -y

LVS负载均衡群集部署——DR直接路由模式_vim_04


4.1.3. #新建目录,并创建站点文件

cd /opt/
mkdir yr ys
echo "this is yr" >yr/index.html
echo "this is ys" >ys/index.html

LVS负载均衡群集部署——DR直接路由模式_vim_05

4.1.4. #开启服务

systemctl start rpcbind
systemctl start nfs

LVS负载均衡群集部署——DR直接路由模式_服务器_06

4.1.5. #授权

chmod 777 yuyue/ yangshuo/

LVS负载均衡群集部署——DR直接路由模式_ip地址_07

4.1.6. #设置共享策略

vim /etc/exports
/opt/yr 192.168.131.0/24(rw,sync)
/opt/ys 192.168.131.0/24(rw,sync)

LVS负载均衡群集部署——DR直接路由模式_ip地址_08

4.1.7. #发布服务

systemctl restart nfs
exportfs -rv

LVS负载均衡群集部署——DR直接路由模式_服务器_09

4.2、第一台Web节点服务器(192.168.131.19)

4.2.1. #关闭防火墙

systemctl stop firewalld
setenforce 0

LVS负载均衡群集部署——DR直接路由模式_vim_10

4.2.2. #安装httpd并启动服务

yum install -y httpd
systenctl start httpd

LVS负载均衡群集部署——DR直接路由模式_vim_11

LVS负载均衡群集部署——DR直接路由模式_vim_12

4.2.3. #查看nfs服务

showmount -e 192.168.131.18

LVS负载均衡群集部署——DR直接路由模式_vim_13

4.2.4. #挂载站点

#法一:临时挂载

df -Th
mount 192.168.131.18:/opt/yr /var/www/html/

LVS负载均衡群集部署——DR直接路由模式_vim_14

#法二:永久挂载

vim /etc/fstab
192.168.131.18:/opt/yr /var/www/html/ nfs defaults,_netdev 0 0
mount -a

LVS负载均衡群集部署——DR直接路由模式_ip地址_15

LVS负载均衡群集部署——DR直接路由模式_服务器_16

4.2.5. #添加回环网卡,修改回环网卡名,IP地址,子网掩码

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0

vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.131.100
NETMASK=255.255.255.255
NETWORK=127.0.0.0

systemctl restart network

LVS负载均衡群集部署——DR直接路由模式_服务器_17

LVS负载均衡群集部署——DR直接路由模式_服务器_18

LVS负载均衡群集部署——DR直接路由模式_vim_19

4.2.6. #设置路由

route add -host 192.168.131.100 dev lo:0
route -n

LVS负载均衡群集部署——DR直接路由模式_vim_20

4.2.7.#开机执行命令

vim /etc/rc.d/rc.local 
/usr/sbin/route add -host 192.168.131.100 dev lo:0

chmod +x /etc/rc.d/rc.local

LVS负载均衡群集部署——DR直接路由模式_服务器_21

LVS负载均衡群集部署——DR直接路由模式_ip地址_22

4.2.8. #调整 proc 响应参数

#添加系统只响应目的IP为本地IP的ARP请求

#系统不使用原地址来设置ARP请求的源地址,而是物理mac地址上的IP

vim /etc/sysctl.conf

net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

sysctl -p

LVS负载均衡群集部署——DR直接路由模式_服务器_23

LVS负载均衡群集部署——DR直接路由模式_vim_24

4.3、第二台Web节点服务器(192.168.131.22)

4.3.1. #关闭防火墙

systemctl stop firewalld
setenforce 0

LVS负载均衡群集部署——DR直接路由模式_服务器_25

4.3.2. #安装httpd并启动服务

yum install -y httpd
systenctl start httpd

LVS负载均衡群集部署——DR直接路由模式_ip地址_26

LVS负载均衡群集部署——DR直接路由模式_vim_27

4.3.3. #查看nfs服务

showmount -e 192.168.131.18

LVS负载均衡群集部署——DR直接路由模式_服务器_28

4.3.4. #挂载站点

#法一:临时挂载
mount 192.168.131.18:/opt/ys /var/www/html
df -Th

LVS负载均衡群集部署——DR直接路由模式_ip地址_29

#法二:永久挂载
vim /etc/fstab
192.168.131.18:/opt/ys/ /var/www/html nfs defaults,_netdev 0 0
mount -av

LVS负载均衡群集部署——DR直接路由模式_vim_30

LVS负载均衡群集部署——DR直接路由模式_vim_31

4.3.5. #添加回环网卡,修改回环网卡名,IP地址,子网掩码

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0

vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.131.100
NETMASK=255.255.255.255
NETWORK=127.0.0.0

systemctl restart network

LVS负载均衡群集部署——DR直接路由模式_vim_32

LVS负载均衡群集部署——DR直接路由模式_ip地址_33

LVS负载均衡群集部署——DR直接路由模式_vim_34

4.3.6. #设置路由

route add -host 192.168.131.100dev lo:0
route -n

LVS负载均衡群集部署——DR直接路由模式_vim_35

4.3.7.#开机执行命令

vim /etc/rc.d/rc.local 
/usr/sbin/route add -host 192.168.131.100 dev lo:0

chmod +x /etc/rc.d/rc.local

LVS负载均衡群集部署——DR直接路由模式_ip地址_36

LVS负载均衡群集部署——DR直接路由模式_vim_37

4.3.8. #调整 proc 响应参数

#添加系统只响应目的IP为本地IP的ARP请求

#系统不使用原地址来设置ARP请求的源地址,而是物理mac地址上的IP

vim /etc/sysctl.conf

net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

sysctl -p

LVS负载均衡群集部署——DR直接路由模式_ip地址_38

LVS负载均衡群集部署——DR直接路由模式_ip地址_39


4.4、配置负载调度器(192.168.131.23)

4.4.1. #关闭防火墙

systemctl stop firewalld.service
setenforce 0

LVS负载均衡群集部署——DR直接路由模式_vim_40

4.4.2. #安装ipvsadm工具

yum install ipvsadm.x86_64 -y

LVS负载均衡群集部署——DR直接路由模式_vim_41

4.4.3. #配置虚拟IP地址(VIP:192.168.131.00)

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
#删除UUID,dns与网关,注意子网
NAME=ens33:0
DEVICE=ens33:0
IPADDR=192.168.131.100
NETMASK=255.255.255.255

LVS负载均衡群集部署——DR直接路由模式_vim_42

4.4.4. #重启网络服务、启动网卡

systemctl restart network
ifup ifcfg-ens33:0

LVS负载均衡群集部署——DR直接路由模式_ip地址_43

4.4.5. #调整/proc响应参数   

  #对于 DR 群集模式来说,由于 LVS 负载调度器和各节点需要共用 VIP 地址,应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器,那么它不会发送重定向,所以可以关闭该功能

vim  /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

LVS负载均衡群集部署——DR直接路由模式_ip地址_44

4.4.6. #刷新配置

sysctl -p

LVS负载均衡群集部署——DR直接路由模式_服务器_45

4.4.7. #加载模块

modprobe ip_vs
cat /proc/net/ip_vs

LVS负载均衡群集部署——DR直接路由模式_vim_46

4.4.8. #配置负载分配策略,并启动服务

ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service

LVS负载均衡群集部署——DR直接路由模式_服务器_47

4.4.9. #清空ipvsadm,并做策略

##添加真实服务器-a  指定VIP地址及TCP端口-t   指定RIP地址及TCP端口 -r 指定DR模式-g

ipvsadm -C  情况策略
ipvsadm -A -t 192.168.131.100:80 -s rr
ipvsadm -a -t 192.168.131.100:80 -r 192.168.131.19:80 -g
ipvsadm -a -t 192.168.131.100:80 -r 192.168.131.22:80 -g

LVS负载均衡群集部署——DR直接路由模式_vim_48

4.4.10. #保存设置

ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

LVS负载均衡群集部署——DR直接路由模式_服务器_49

五、Win10测试(192.168.131.200)

在win10需改成同网段ip

LVS负载均衡群集部署——DR直接路由模式_vim_50

客户机可以到达web服务器和vip的负载调度器(DR)

LVS负载均衡群集部署——DR直接路由模式_vim_51

测试:

LVS负载均衡群集部署——DR直接路由模式_vim_52

LVS负载均衡群集部署——DR直接路由模式_ip地址_53