在讲LVS之前先说一下集群的概念

Cluster

  集群,为解决某个特定问题将多台计算机组合起来形成的单个系统。   同一个业务系统,部署在多台服务器上。集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的。

Linux Cluster类型:

  LB: Load Balancing,负载均衡
  HA: High Availiablity,高可用, SPOF(single Point Of failure)
    MTBF:Mean Time Between Failure 平均无故障时间
    MTTR:Mean Time To Restoration(repair)平均恢复前时间
    A=MTBF/(MTBF+MTTR) (0,1): 99%, 99.5%, 99.9%, 99.99%, 99.999%
  HPC: High-performance computing,高性能

分布式

  一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务。

集群与分布式的区别

  分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。

LB Cluster的实现

硬件

  1. F5 Big-IP
  2. Citrix Netscaler
  3. A10 A10

软件

  1. lvs: Linux Virtual Server(工作在四层及传输层基于内核实现,性能强大功能简单,单负载上/数百万连接)
  2. nginx:支持七层调度, 阿里七层SLB使用Tengine(单服务器单IP 65536/2连接)
  3. haproxy:七层调度,支持模拟四层,四层工作于内核, haproxy及nginx是应用程序
  4. ats: apache traffic server, yahoo捐助
  5. perlbal: Perl 编写
  6. pound

关于LVS

  LVS,Linux Virtual Server即“Linux虚拟服务器”。
  通过LVS可以实现负载均衡集群方案,它是一个针对Linux内核开发的一个负载均衡项目。基于IP地址和内容请求分发的高效的负载均衡解决方法,现已为 Linux 内核的一部分,默认编译为ip_vs模块。

LVS的优点

  LVS的抗并发能力强,主要用于服务器集群的负载均衡。它工作在网络层,可以实现高性能,高可用的服务器集群技术。它廉价,可把许多低性能的服务器组合在一起形成一个超级服务器。它易用,配置非常简单,且有多种负载均衡的方法。它稳定可靠,即使在集群的服务器中某台服务器无法正常工作,也不影响整体效果。另外可扩展性也非常好。

LVS工作原理

  VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS

LVS集群类型中的术语

  1. VS: Virtual Server, Director Server(DS), Dispatcher(调度器), Load Balancer
  2. RS: Real Server(lvs), upstream server(nginx), backend server(haproxy)
  3. CIP: Client IP
  4. VIP: Virtual serve IP #VS外网的IP,与客户端相连
  5. DIP: Director IP #VS内网的IP,与后端服务器相连
  6. RIP: Real server IP #后端web服务器IP

LVS工作过程

CIP <--> VIP <--> DIP <--> RIP

  1. 当用户集中请求 vs 时,由 vs 进行调度到后端RS集群中,由后端的 RS 集群进行响应。
  2. ipvs 存在于 INPUT 链上,当用户的请求报文到达 INPUT 链时会首先被 ipvs 进行分析,如果分析到后面的集群服务器就强行将数据报文送至 POSTROUTING 链进行调度转发至 RS 服务器上。

内核中的LVS

[root@CentOS ~]# grep -i -A 10 "IPVS" /boot/config-3.10.0-862.el7.x86_64
# IPVS transport protocol load balancing support
CONFIG_IP_VS_PROTO_TCP=y    # 开启tcp
CONFIG_IP_VS_PROTO_UDP=y    # 开启udp
CONFIG_IP_VS_PROTO_AH_ESP=y
CONFIG_IP_VS_PROTO_ESP=y
CONFIG_IP_VS_PROTO_AH=y
CONFIG_IP_VS_PROTO_SCTP=y 

# IPVS scheduler    # 默认支持的算法
CONFIG_IP_VS_RR=m
CONFIG_IP_VS_WRR=m
CONFIG_IP_VS_LC=m
CONFIG_IP_VS_WLC=m
CONFIG_IP_VS_LBLC=m
CONFIG_IP_VS_LBLCR=m
CONFIG_IP_VS_DH=m
CONFIG_IP_VS_SH=m
CONFIG_IP_VS_SED=m

LVS集群工具

  1. ipvsadm:用户空间的命令行工具,规则管理器用于管理集群服务及RealServer
  2. ipvs:工作于内核空间netfilter的INPUT钩子上的框架

LVS集群类型

  1. lvs-nat:修改请求报文的目标IP,多目标IP的DNAT
  2. lvs-dr:操纵封装新的MAC地址
  3. lvs-tun:在原请求IP报文之外新加一个IP首部
  4. lvs-fullnat:修改请求报文的源和目标IP

LVS的模式介绍

LVS-NAT模式

本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发。
(1) RIP和DIP应在同一个IP网络,且应使用私网地址; RS的网关要指向DIP
(2)请求报文和响应报文都必须经由Director转发, Director易于成为系统瓶颈
(3)支持端口映射,可修改请求报文的目标PORT
(4) VS必须是Linux系统, RS可以是任意OS系统

NAT模式IP包调度过程

LVS-DR模式

Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变
(1) Director和各RS都配置有VIP
(2) 确保前端路由器将目标IP为VIP的请求报文发往Director

  1. 在前端网关做静态绑定VIP和Director的MAC地址
  2. 在RS上使用arptables工具
    arptables -A IN -d $VIP -j DROP
    arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
  3. 在RS上修改内核参数以限制arp通告及应答级别
    /proc/sys/net/ipv4/conf/all/arp_ignore
    /proc/sys/net/ipv4/conf/all/arp_announce

(3)RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director
(4)RS和Director要在同一个物理网络
(5)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client
(6)不支持端口映射(端口不能修败)
(7)RS可使用大多数OS系统

DR模式IP包调度过程

LVS-TUN模式

转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关一般不能指向DIP
(3) 请求报文要经由Director,但响应不经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能

TUN模式IP包调度过程

LVS-FULLNAT模式

通过同时修改请求报文的源IP地址和目标IP地址进行转发
CIP --> DIP
VIP --> RIP
(1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP
(2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client
(3) 请求和响应报文都经由Director
(4) 支持端口映射

注意:此类型kernel默认不支持

LVS模式总结

  1. lvs-nat与lvs-fullnat:请求和响应报文都经由Director
    lvs-nat:RIP的网关要指向DIP
    lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信
  2. lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client
    lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发
    lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信

LVS调度器根据其调度时RS的负载状态分为静态、动态两种方法

静态方法:根据算法本身进行调度

  1. RR:roundrobin,轮询
  2. WRR:Weighted RR,加权轮询
  3. SH:Source Hashing,实现session sticky,源IP地址hash;将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定
  4. DH:Destination Hashing;目标地址哈希,第一次轮询调度至RS,后续将发往同一个目标地址的请求始终转发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均衡,如:宽带运营商

动态方法:根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

  1. LC:least connections 适用于长连接应用 Overhead=activeconns*256+inactiveconns
  2. WLC:Weighted LC,默认调度方法 Overhead=(activeconns*256+inactiveconns)/weight
  3. SED:Shortest Expection Delay,初始连接高权重优先 Overhead=(activeconns+1)*256/weight
  4. NQ:Never Queue,第一轮均匀分配,后续SED
  5. LBLC:Locality-Based LC,动态的DH算法,使用场景:根据负载状态实现正向代理
  6. LBLCR:LBLC with Replication,带复制功能的LBLC,解决LBLC负载不均衡问题,从负载重的复制到负载轻的RS

ipvsadm工具包

安装工具包

[root@CentOS7-2 ~]#yum install -y ipvsadm

程序包

[root@CentOS7-2 ~]#rpm -ql ipvsadm
/etc/sysconfig/ipvsadm-config   # 配置文件
/usr/sbin/ipvsadm   # 主程序
/usr/sbin/ipvsadm-restore   # 规则重载工具
/usr/sbin/ipvsadm-save  # 规则保存工具

集群服务管理

增、改

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

删除

ipvsadm -D -t|u|f service-address
选项

-A:定义集群,可以定义多组集群进行调度
-E:修改定义的集群
-t: TCP协议的端口,VIP:TCP_PORT
-u: UDP协议的端口,VIP:UDP_PORT
-f:firewall MARK,标记,一个数字
service-address:VIP地址
[-s scheduler]:指定集群的调度算法,默认为wlc
[-p [timeout]]:持久绑定时间
-D:删除集群

管理集群上的RS

增、改

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

删除

ipvsadm -d -t|u|f service-address -r server-address
选项

-a:添加集群成员Real-server
-e:修改集群成员选项
-r:后端Real-server地址
-g:DR模式
-i:TUN模式
-m:NAT模式,伪装
[-w weight]:权重,默认为1
-d:删除集群成员

清空定义的所有规则

[root@CentOS7-2 ~]#ipvsadm -C

清空计数器

[root@CentOS7-2 ~]#ipvsadm -Z [-t|u|f service-address]

查看定义的规则

ipvsadm -L|l [options]
			--numeric, -n:以数字形式输出地址和端口号
			--exact:扩展信息,精确值
			--connection,-c:当前IPVS连接输出
			--stats:统计信息
			--rate:输出速率信息

保存规则

建议保存至/etc/sysconfig/ipvsadm
1. ipvsadm-save > /PATH/TO/IPVSADM_FILE
2. ipvsadm -S > /PATH/TO/IPVSADM_FILE
3. systemctl stop ipvsadm.service

重载规则

1. ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
2. ipvsadm -R < /PATH/FROM/IPVSADM_FILE
3. systemctl restart ipvsadm.service

LVS-NAT模式案例

注:实验之前请先关闭selinux、清空防火墙规则

规划图

主机名 IP地址
Client 172.22.58.131
LVS 172.22.58.150、192.168.36.104
RS1 192.168.36.110
RS2 192.168.36.120

网络配置

Client

[root@Client ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
172.22.0.0      0.0.0.0         255.255.0.0     U     1      0        0 eth0
0.0.0.0         172.22.58.150   0.0.0.0         UG    0      0        0 eth0

Route

[root@LVS ~]#route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
172.22.0.0      0.0.0.0         255.255.0.0     U     0      0        0 ens37
192.168.36.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33


# 开启路由转发功能
[root@LVS ~]#vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@LVS ~]#sysctl -p
net.ipv4.ip_forward = 1

RS1

[root@RS1 ~]#route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.36.104  0.0.0.0         UG    0      0        0 ens33
192.168.36.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33

RS2

[root@RS2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.36.0    0.0.0.0         255.255.255.0   U     1      0        0 eth0
0.0.0.0         192.168.36.104  0.0.0.0         UG    0      0        0 eth0

RS服务器配置

两台RS上安装并启动Apache服务

[root@RS1 ~]#yum install -y httpd
....

[root@RS1 ~]#systemctl restart httpd

创建网页

[root@RS1 ~]#echo "Real Server 110" >/var/www/html/index.html
[root@RS2 ~]#echo "Real Server 120" >/var/www/html/index.html

VS服务器创建规则

# 安装规则
[root@LVS ~]#yum install -y ipvsadm

# 配置规则
[root@LVS ~]#ipvsadm -A -t 172.22.58.150:80 -s wrr
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.22.58.150:80 wrr
[root@LVS ~]#ipvsadm -a -t 172.22.58.150:80 -r 192.168.36.110 -m
[root@LVS ~]#ipvsadm -a -t 172.22.58.150:80 -r 192.168.36.120 -m
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.22.58.150:80 wrr
  -> 192.168.36.110:80            Masq    1      0          0
  -> 192.168.36.120:80            Masq    1      0          0

客户端进行VS测试

[root@Client ~]# while true;do curl http://172.22.58.150;sleep 0.5 ;done
Real Server 110
Real Server 120
Real Server 110
Real Server 120
....

修改权重值并测试

[root@LVS ~]#ipvsadm -e -t 172.22.58.150:80 -r 192.168.36.110 -m -w 2
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.22.58.150:80 wrr
  -> 192.168.36.110:80            Masq    2      0          0
  -> 192.168.36.120:80            Masq    1      0          0

[root@Client ~]# while true;do curl http://172.22.58.150;sleep 0.5 ;done
Real Server 120
Real Server 110
Real Server 110
Real Server 120
Real Server 110
Real Server 110

LVS-DR模式案例

注:实验之前请先关闭selinux、清空防火墙规则

规划图

主机名 IP地址
Client 172.22.58.113
Route 172.22.58.150、192.168.36.104
LVS 192.168.36.106
RS1 192.168.36.110
RS2 192.168.36.120

网络配置

Client

[root@Client ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
172.22.0.0      0.0.0.0         255.255.0.0     U     1      0        0 eth0
0.0.0.0         172.22.58.150   0.0.0.0         UG    0      0        0 eth0

Route

[root@Route ~]#route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
172.22.0.0      0.0.0.0         255.255.0.0     U     0      0        0 ens37
192.168.36.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33


# 开启路由转发功能
[root@Route ~]#vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@Route ~]#sysctl -p
net.ipv4.ip_forward = 1

LVS

[root@LVS ~]#route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.36.104  0.0.0.0         UG    0      0        0 ens33
192.168.36.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33

RS1

[root@RS1 ~]#route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.36.104  0.0.0.0         UG    0      0        0 ens33
192.168.36.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33

RS2

[root@RS2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.36.0    0.0.0.0         255.255.255.0   U     1      0        0 eth0
0.0.0.0         192.168.36.104  0.0.0.0         UG    0      0        0 eth0

RS的配置脚本,生成VIP以及测试网页

分别在RS1、RS2上执行此脚本

[root@RS1 ~]#vim lvs_dr_rs.sh
#!/bin/bash
vip=192.168.36.200
mask='255.255.255.255'
dev=lo:1
rpm -q httpd &> /dev/null || yum -y install httpd &>/dev/null
service httpd start &> /dev/null && echo "The httpd Server is Ready!"
echo "Real Server 110" > /var/www/html/index.html

case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig $dev $vip netmask $mask #broadcast $vip up
    #route add -host $vip dev $dev
    echo "The RS Server is Ready!"
    ;;
stop)
    ifconfig $dev down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "The RS Server is Canceled!"
    ;;
*)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

[root@RS2 ~]# bash ./lvs_dr_rs.sh start
The httpd Server is Ready!
The RS Server is Ready!
注:
  1. 限制响应级别:arp_ignore
    0:默认值,表示可使用本地任意接口上配置的任意地址进行响应
    1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应
  2. 限制通告级别:arp_announce
    0:默认值,把本机所有接口的所有信息向每个接口的网络进行通告
    1:尽量避免将接口信息向非直接连接网络进行通告
    2:必须避免将接口信息向非本网络进行通告

VS的配置脚本,生成调度规则

[root@LVS ~]#vim lvs_dr_vs.sh
#!/bin/bash
vip='192.168.36.200'
iface='lo:1'
mask='255.255.255.255'
port='80'
rs1='192.168.36.110'
rs2='192.168.36.120'
scheduler='wrr'
type='-g'
# rpm -q ipvsadm &> /dev/null || yum -y install ipvsadm &> /dev/null

case $1 in
start)
    ifconfig $iface $vip netmask $mask #broadcast $vip up
    iptables -F

    ipvsadm -A -t ${vip}:${port} -s $scheduler
    ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
    ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
    echo "The VS Server is Ready!"
    ;;
stop)
    ipvsadm -C
    ifconfig $iface down
    echo "The VS Server is Canceled!"
    ;;
*)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

执行脚本,生成规则
[root@LVS ~]#bash ./lvs_dr_vs.sh start
The VS Server is Ready!

规则查看

[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.36.200:80 wrr
  -> 192.168.36.110:80            Route   1      0          0
  -> 192.168.36.120:80            Route   1      0          0

调度测试

[root@Client ~]# while true;do curl http://192.168.36.200;sleep 0.5 ;done
Real Server 110
Real Server 120
Real Server 110
Real Server 120
Real Server 110
Real Server 120
....

修改权重,进行测试

[root@LVS ~]#ipvsadm -e -t 192.168.36.200:80 -r 192.168.36.120 -g -w 3

[root@Client ~]# while true;do curl http://192.168.36.200;sleep 0.5 ;done
Real Server 110
Real Server 120
Real Server 120
Real Server 120
Real Server 110
Real Server 120
Real Server 120
Real Server 120
....

FireWall Mark

定义

借助于防火墙标记来分类报文,而后基于标记定义集群服务;可将多个不同的应用使用同一个集群服务进行调度。

在LVS-NAT基础上进行配置

清空ipvsadm配置

[root@LVS ~]#ipvsadm -C
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

设置防火墙标记位

[root@LVS ~]#iptables -t mangle -A PREROUTING -d 192.168.36.104 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 10
[root@LVS ~]#iptables -vnL -t mangle
Chain PREROUTING (policy ACCEPT 105 packets, 7292 bytes)
 pkts bytes target     prot opt in     out     source               destination
    0     0 MARK       tcp  --  *      *       0.0.0.0/0            192.168.36.104       multiport dports 80,443 MARKset 0xa

# MARK 用于给特定的报文打标记
#    --set-mark value
#   其中:value 可为0xffff格式,表示十六进制数字

根据标记位配置ipvsadm调度规则

[root@LVS ~]#ipvsadm -A -f 10 -s wrr
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
FWM  10 wrr
[root@LVS ~]#ipvsadm -a -f 10 -r 192.168.36.110 -m
[root@LVS ~]#ipvsadm -a -f 10 -r 192.168.36.120 -m
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
FWM  10 wrr
  -> 192.168.36.110:0             Masq    1      0          0
  -> 192.168.36.120:0             Masq    1      0          0

持久连接

session绑定:对共享同一组RS的多个集群服务,需要统一进行绑定,LVS SH算法无法实现。
持久连接( lvs persistence )模板:实现无论使用任何调度算法,在一段时间内(默认360s ),能够实现将来自同一个地址的请求始终发往同一个RS

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

持久连接实现方式:

  1. 每端口持久(PPC):每个端口定义为一个集群服务,每集群服务单独调度
  2. 每防火墙标记持久(PFWMC):基于防火墙标记定义集群服务;可实现将多个端口上的应用统一调度,即所谓的port Affinity
  3. 每客户端持久(PCC):基于0端口(表示所有服务)定义集群服务,即将客户端对所有应用的请求都调度至后端主机,必须定义为持久模式

在FireWall Mark基础上进行测试

[root@LVS ~]#ipvsadm -E -f 10 -s wrr -p 

# -p:持久连接绑定,单位/s,默认为360s