在讲LVS之前先说一下集群的概念
Cluster
集群,为解决某个特定问题将多台计算机组合起来形成的单个系统。 同一个业务系统,部署在多台服务器上。集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的。
Linux Cluster类型:
LB: Load Balancing,负载均衡
HA: High Availiablity,高可用, SPOF(single Point Of failure)
MTBF:Mean Time Between Failure 平均无故障时间
MTTR:Mean Time To Restoration(repair)平均恢复前时间
A=MTBF/(MTBF+MTTR) (0,1): 99%, 99.5%, 99.9%, 99.99%, 99.999%
HPC: High-performance computing,高性能
分布式
一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务。
集群与分布式的区别
分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。
LB Cluster的实现
硬件
- F5 Big-IP
- Citrix Netscaler
- A10 A10
软件
- lvs: Linux Virtual Server(工作在四层及传输层基于内核实现,性能强大功能简单,单负载上/数百万连接)
- nginx:支持七层调度, 阿里七层SLB使用Tengine(单服务器单IP 65536/2连接)
- haproxy:七层调度,支持模拟四层,四层工作于内核, haproxy及nginx是应用程序
- ats: apache traffic server, yahoo捐助
- perlbal: Perl 编写
- pound
关于LVS
LVS,Linux Virtual Server即“Linux虚拟服务器”。
通过LVS可以实现负载均衡集群方案,它是一个针对Linux内核开发的一个负载均衡项目。基于IP地址和内容请求分发的高效的负载均衡解决方法,现已为 Linux 内核的一部分,默认编译为ip_vs模块。
LVS的优点
LVS的抗并发能力强,主要用于服务器集群的负载均衡。它工作在网络层,可以实现高性能,高可用的服务器集群技术。它廉价,可把许多低性能的服务器组合在一起形成一个超级服务器。它易用,配置非常简单,且有多种负载均衡的方法。它稳定可靠,即使在集群的服务器中某台服务器无法正常工作,也不影响整体效果。另外可扩展性也非常好。
LVS工作原理
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS
LVS集群类型中的术语
- VS: Virtual Server, Director Server(DS), Dispatcher(调度器), Load Balancer
- RS: Real Server(lvs), upstream server(nginx), backend server(haproxy)
- CIP: Client IP
- VIP: Virtual serve IP #VS外网的IP,与客户端相连
- DIP: Director IP #VS内网的IP,与后端服务器相连
- RIP: Real server IP #后端web服务器IP
LVS工作过程
CIP <--> VIP <--> DIP <--> RIP
- 当用户集中请求 vs 时,由 vs 进行调度到后端RS集群中,由后端的 RS 集群进行响应。
- ipvs 存在于 INPUT 链上,当用户的请求报文到达 INPUT 链时会首先被 ipvs 进行分析,如果分析到后面的集群服务器就强行将数据报文送至 POSTROUTING 链进行调度转发至 RS 服务器上。
内核中的LVS
[root@CentOS ~]# grep -i -A 10 "IPVS" /boot/config-3.10.0-862.el7.x86_64
# IPVS transport protocol load balancing support
CONFIG_IP_VS_PROTO_TCP=y # 开启tcp
CONFIG_IP_VS_PROTO_UDP=y # 开启udp
CONFIG_IP_VS_PROTO_AH_ESP=y
CONFIG_IP_VS_PROTO_ESP=y
CONFIG_IP_VS_PROTO_AH=y
CONFIG_IP_VS_PROTO_SCTP=y
# IPVS scheduler # 默认支持的算法
CONFIG_IP_VS_RR=m
CONFIG_IP_VS_WRR=m
CONFIG_IP_VS_LC=m
CONFIG_IP_VS_WLC=m
CONFIG_IP_VS_LBLC=m
CONFIG_IP_VS_LBLCR=m
CONFIG_IP_VS_DH=m
CONFIG_IP_VS_SH=m
CONFIG_IP_VS_SED=m
LVS集群工具
- ipvsadm:用户空间的命令行工具,规则管理器用于管理集群服务及RealServer
- ipvs:工作于内核空间netfilter的INPUT钩子上的框架
LVS集群类型
- lvs-nat:修改请求报文的目标IP,多目标IP的DNAT
- lvs-dr:操纵封装新的MAC地址
- lvs-tun:在原请求IP报文之外新加一个IP首部
- lvs-fullnat:修改请求报文的源和目标IP
LVS的模式介绍
LVS-NAT模式
本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发。
(1) RIP和DIP应在同一个IP网络,且应使用私网地址; RS的网关要指向DIP
(2)请求报文和响应报文都必须经由Director转发, Director易于成为系统瓶颈
(3)支持端口映射,可修改请求报文的目标PORT
(4) VS必须是Linux系统, RS可以是任意OS系统
NAT模式IP包调度过程
LVS-DR模式
Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变
(1) Director和各RS都配置有VIP
(2) 确保前端路由器将目标IP为VIP的请求报文发往Director
- 在前端网关做静态绑定VIP和Director的MAC地址
- 在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP - 在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce
(3)RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director
(4)RS和Director要在同一个物理网络
(5)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client
(6)不支持端口映射(端口不能修败)
(7)RS可使用大多数OS系统
DR模式IP包调度过程
LVS-TUN模式
转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关一般不能指向DIP
(3) 请求报文要经由Director,但响应不经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能
TUN模式IP包调度过程
LVS-FULLNAT模式
通过同时修改请求报文的源IP地址和目标IP地址进行转发
CIP --> DIP
VIP --> RIP
(1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP
(2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client
(3) 请求和响应报文都经由Director
(4) 支持端口映射
注意:此类型kernel默认不支持
LVS模式总结
- lvs-nat与lvs-fullnat:请求和响应报文都经由Director
lvs-nat:RIP的网关要指向DIP
lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信 - lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client
lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发
lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信
LVS调度器根据其调度时RS的负载状态分为静态、动态两种方法
静态方法:根据算法本身进行调度
- RR:roundrobin,轮询
- WRR:Weighted RR,加权轮询
- SH:Source Hashing,实现session sticky,源IP地址hash;将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定
- DH:Destination Hashing;目标地址哈希,第一次轮询调度至RS,后续将发往同一个目标地址的请求始终转发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均衡,如:宽带运营商
动态方法:根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
- LC:least connections 适用于长连接应用 Overhead=activeconns*256+inactiveconns
- WLC:Weighted LC,默认调度方法 Overhead=(activeconns*256+inactiveconns)/weight
- SED:Shortest Expection Delay,初始连接高权重优先 Overhead=(activeconns+1)*256/weight
- NQ:Never Queue,第一轮均匀分配,后续SED
- LBLC:Locality-Based LC,动态的DH算法,使用场景:根据负载状态实现正向代理
- LBLCR:LBLC with Replication,带复制功能的LBLC,解决LBLC负载不均衡问题,从负载重的复制到负载轻的RS
ipvsadm工具包
安装工具包
[root@CentOS7-2 ~]#yum install -y ipvsadm
程序包
[root@CentOS7-2 ~]#rpm -ql ipvsadm
/etc/sysconfig/ipvsadm-config # 配置文件
/usr/sbin/ipvsadm # 主程序
/usr/sbin/ipvsadm-restore # 规则重载工具
/usr/sbin/ipvsadm-save # 规则保存工具
集群服务管理
增、改
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
删除
ipvsadm -D -t|u|f service-address
选项
-A:定义集群,可以定义多组集群进行调度
-E:修改定义的集群
-t: TCP协议的端口,VIP:TCP_PORT
-u: UDP协议的端口,VIP:UDP_PORT
-f:firewall MARK,标记,一个数字
service-address:VIP地址
[-s scheduler]:指定集群的调度算法,默认为wlc
[-p [timeout]]:持久绑定时间
-D:删除集群
管理集群上的RS
增、改
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
删除
ipvsadm -d -t|u|f service-address -r server-address
选项
-a:添加集群成员Real-server
-e:修改集群成员选项
-r:后端Real-server地址
-g:DR模式
-i:TUN模式
-m:NAT模式,伪装
[-w weight]:权重,默认为1
-d:删除集群成员
清空定义的所有规则
[root@CentOS7-2 ~]#ipvsadm -C
清空计数器
[root@CentOS7-2 ~]#ipvsadm -Z [-t|u|f service-address]
查看定义的规则
ipvsadm -L|l [options]
--numeric, -n:以数字形式输出地址和端口号
--exact:扩展信息,精确值
--connection,-c:当前IPVS连接输出
--stats:统计信息
--rate:输出速率信息
保存规则
建议保存至/etc/sysconfig/ipvsadm
1. ipvsadm-save > /PATH/TO/IPVSADM_FILE
2. ipvsadm -S > /PATH/TO/IPVSADM_FILE
3. systemctl stop ipvsadm.service
重载规则
1. ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
2. ipvsadm -R < /PATH/FROM/IPVSADM_FILE
3. systemctl restart ipvsadm.service
LVS-NAT模式案例
注:实验之前请先关闭selinux、清空防火墙规则
规划图
主机名 | IP地址 |
---|---|
Client | 172.22.58.131 |
LVS | 172.22.58.150、192.168.36.104 |
RS1 | 192.168.36.110 |
RS2 | 192.168.36.120 |
网络配置
Client
[root@Client ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
172.22.0.0 0.0.0.0 255.255.0.0 U 1 0 0 eth0
0.0.0.0 172.22.58.150 0.0.0.0 UG 0 0 0 eth0
Route
[root@LVS ~]#route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
172.22.0.0 0.0.0.0 255.255.0.0 U 0 0 0 ens37
192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
# 开启路由转发功能
[root@LVS ~]#vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@LVS ~]#sysctl -p
net.ipv4.ip_forward = 1
RS1
[root@RS1 ~]#route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 ens33
192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
RS2
[root@RS2 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.36.0 0.0.0.0 255.255.255.0 U 1 0 0 eth0
0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 eth0
RS服务器配置
两台RS上安装并启动Apache服务
[root@RS1 ~]#yum install -y httpd
....
[root@RS1 ~]#systemctl restart httpd
创建网页
[root@RS1 ~]#echo "Real Server 110" >/var/www/html/index.html
[root@RS2 ~]#echo "Real Server 120" >/var/www/html/index.html
VS服务器创建规则
# 安装规则
[root@LVS ~]#yum install -y ipvsadm
# 配置规则
[root@LVS ~]#ipvsadm -A -t 172.22.58.150:80 -s wrr
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.22.58.150:80 wrr
[root@LVS ~]#ipvsadm -a -t 172.22.58.150:80 -r 192.168.36.110 -m
[root@LVS ~]#ipvsadm -a -t 172.22.58.150:80 -r 192.168.36.120 -m
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.22.58.150:80 wrr
-> 192.168.36.110:80 Masq 1 0 0
-> 192.168.36.120:80 Masq 1 0 0
客户端进行VS测试
[root@Client ~]# while true;do curl http://172.22.58.150;sleep 0.5 ;done
Real Server 110
Real Server 120
Real Server 110
Real Server 120
....
修改权重值并测试
[root@LVS ~]#ipvsadm -e -t 172.22.58.150:80 -r 192.168.36.110 -m -w 2
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.22.58.150:80 wrr
-> 192.168.36.110:80 Masq 2 0 0
-> 192.168.36.120:80 Masq 1 0 0
[root@Client ~]# while true;do curl http://172.22.58.150;sleep 0.5 ;done
Real Server 120
Real Server 110
Real Server 110
Real Server 120
Real Server 110
Real Server 110
LVS-DR模式案例
注:实验之前请先关闭selinux、清空防火墙规则
规划图
主机名 | IP地址 |
---|---|
Client | 172.22.58.113 |
Route | 172.22.58.150、192.168.36.104 |
LVS | 192.168.36.106 |
RS1 | 192.168.36.110 |
RS2 | 192.168.36.120 |
网络配置
Client
[root@Client ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
172.22.0.0 0.0.0.0 255.255.0.0 U 1 0 0 eth0
0.0.0.0 172.22.58.150 0.0.0.0 UG 0 0 0 eth0
Route
[root@Route ~]#route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
172.22.0.0 0.0.0.0 255.255.0.0 U 0 0 0 ens37
192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
# 开启路由转发功能
[root@Route ~]#vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@Route ~]#sysctl -p
net.ipv4.ip_forward = 1
LVS
[root@LVS ~]#route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 ens33
192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
RS1
[root@RS1 ~]#route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 ens33
192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
RS2
[root@RS2 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.36.0 0.0.0.0 255.255.255.0 U 1 0 0 eth0
0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 eth0
RS的配置脚本,生成VIP以及测试网页
分别在RS1、RS2上执行此脚本
[root@RS1 ~]#vim lvs_dr_rs.sh
#!/bin/bash
vip=192.168.36.200
mask='255.255.255.255'
dev=lo:1
rpm -q httpd &> /dev/null || yum -y install httpd &>/dev/null
service httpd start &> /dev/null && echo "The httpd Server is Ready!"
echo "Real Server 110" > /var/www/html/index.html
case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
ifconfig $dev $vip netmask $mask #broadcast $vip up
#route add -host $vip dev $dev
echo "The RS Server is Ready!"
;;
stop)
ifconfig $dev down
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "The RS Server is Canceled!"
;;
*)
echo "Usage: $(basename $0) start|stop"
exit 1
;;
esac
[root@RS2 ~]# bash ./lvs_dr_rs.sh start
The httpd Server is Ready!
The RS Server is Ready!
注:
- 限制响应级别:arp_ignore
0:默认值,表示可使用本地任意接口上配置的任意地址进行响应
1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应 - 限制通告级别:arp_announce
0:默认值,把本机所有接口的所有信息向每个接口的网络进行通告
1:尽量避免将接口信息向非直接连接网络进行通告
2:必须避免将接口信息向非本网络进行通告
VS的配置脚本,生成调度规则
[root@LVS ~]#vim lvs_dr_vs.sh
#!/bin/bash
vip='192.168.36.200'
iface='lo:1'
mask='255.255.255.255'
port='80'
rs1='192.168.36.110'
rs2='192.168.36.120'
scheduler='wrr'
type='-g'
# rpm -q ipvsadm &> /dev/null || yum -y install ipvsadm &> /dev/null
case $1 in
start)
ifconfig $iface $vip netmask $mask #broadcast $vip up
iptables -F
ipvsadm -A -t ${vip}:${port} -s $scheduler
ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
echo "The VS Server is Ready!"
;;
stop)
ipvsadm -C
ifconfig $iface down
echo "The VS Server is Canceled!"
;;
*)
echo "Usage: $(basename $0) start|stop"
exit 1
;;
esac
执行脚本,生成规则
[root@LVS ~]#bash ./lvs_dr_vs.sh start
The VS Server is Ready!
规则查看
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.36.200:80 wrr
-> 192.168.36.110:80 Route 1 0 0
-> 192.168.36.120:80 Route 1 0 0
调度测试
[root@Client ~]# while true;do curl http://192.168.36.200;sleep 0.5 ;done
Real Server 110
Real Server 120
Real Server 110
Real Server 120
Real Server 110
Real Server 120
....
修改权重,进行测试
[root@LVS ~]#ipvsadm -e -t 192.168.36.200:80 -r 192.168.36.120 -g -w 3
[root@Client ~]# while true;do curl http://192.168.36.200;sleep 0.5 ;done
Real Server 110
Real Server 120
Real Server 120
Real Server 120
Real Server 110
Real Server 120
Real Server 120
Real Server 120
....
FireWall Mark
定义
借助于防火墙标记来分类报文,而后基于标记定义集群服务;可将多个不同的应用使用同一个集群服务进行调度。
在LVS-NAT基础上进行配置
清空ipvsadm配置
[root@LVS ~]#ipvsadm -C
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
设置防火墙标记位
[root@LVS ~]#iptables -t mangle -A PREROUTING -d 192.168.36.104 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 10
[root@LVS ~]#iptables -vnL -t mangle
Chain PREROUTING (policy ACCEPT 105 packets, 7292 bytes)
pkts bytes target prot opt in out source destination
0 0 MARK tcp -- * * 0.0.0.0/0 192.168.36.104 multiport dports 80,443 MARKset 0xa
# MARK 用于给特定的报文打标记
# --set-mark value
# 其中:value 可为0xffff格式,表示十六进制数字
根据标记位配置ipvsadm调度规则
[root@LVS ~]#ipvsadm -A -f 10 -s wrr
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
FWM 10 wrr
[root@LVS ~]#ipvsadm -a -f 10 -r 192.168.36.110 -m
[root@LVS ~]#ipvsadm -a -f 10 -r 192.168.36.120 -m
[root@LVS ~]#ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
FWM 10 wrr
-> 192.168.36.110:0 Masq 1 0 0
-> 192.168.36.120:0 Masq 1 0 0
持久连接
session绑定:对共享同一组RS的多个集群服务,需要统一进行绑定,LVS SH算法无法实现。
持久连接( lvs persistence )模板:实现无论使用任何调度算法,在一段时间内(默认360s ),能够实现将来自同一个地址的请求始终发往同一个RS
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
持久连接实现方式:
- 每端口持久(PPC):每个端口定义为一个集群服务,每集群服务单独调度
- 每防火墙标记持久(PFWMC):基于防火墙标记定义集群服务;可实现将多个端口上的应用统一调度,即所谓的port Affinity
- 每客户端持久(PCC):基于0端口(表示所有服务)定义集群服务,即将客户端对所有应用的请求都调度至后端主机,必须定义为持久模式
在FireWall Mark基础上进行测试
[root@LVS ~]#ipvsadm -E -f 10 -s wrr -p
# -p:持久连接绑定,单位/s,默认为360s