一、介绍
LVS的英文全称是Linux Virtual Server,即Linux虚拟服务器。由章文嵩博士主导开发的开源负载均衡项目,从2.6内核开始已经被集成到linux内核模块中了。
二、LVS负载均衡调度算法
1. 轮询 rr
调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器(Real Server)上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。
2. 加权轮询 wrr
调度器通过“加权轮叫”调度算法根据真实服务器(Real Server)的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。
3. 最小连接 lc
调度器通过“最少连接”调度算法动态地将请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器(Real Server)具有相近的系统性能,采用“最小连接”调度算法可以较好地均衡负载。
4. 加权最小连接 wlc
在集群系统中的服务器性能差异较大的情况下,调度器采用“加权最少链接”调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。服务器的缺省权值为1,系统管理员可以动态地设置服务器的权限。
5. 基于局部的最小连接 lblc
基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少链接” 的原则选出一个可用的服务器,将请求发送到该服务器。
6. 带复制的基于局部性最少链接 lblcr
带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标 IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按“最小连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按“最小连接”原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复制的程度。
7. 目标地址散列 dh
目标地址散列”调度算法根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。
8. 源地址散列 sh
源地址散列”调度算法根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。
三、ipvsadm命令介绍
用法
ipvsadm 选项 服务器地址 -s 算法
ipvsadm 选项 服务器地址 -r 真是服务器地址 [工作模式] [权重]
选项
A 添加一个虚拟服务器
E 编辑一个虚拟服务器
D 删除一个虚拟服务器
C 清空虚拟服务器列表
R 从标准输入中还原虚拟服务器规则
S 将虚拟服务器规则保存至标准输出
a 添加一个真实服务器
e 编辑一个真实服务器
d 删除一个真实服务器
l/L 查看分发列表
t 使用tcp协议
u 使用udp协议
s 指定算法
r 设置真实服务器的IP地址和端口信息
g DR模式
i tun模式
m nat模式
w 设置真实服务器的权重
c 查看连接状态,需要配合L使用
n 以数字形式输出
四、部署LVS NAT集群
1. 工作原理
当用户请求到达director之后,director将请求报文的目标地址(即VIP)改成选定的realserver地址,同时将报文的目标端口也改成选定的realserver的相应端口,最后将报文请求发送到指定的realserver。在服务器端得到数据后,realserver将数据返给director,而director将报文的源地址和源端口改成VIP和相应端口,然后把数据发送给用户,完成整个负载调度过程。
2. 环境说明
操作系统 | IP地址 | 角色 |
---|---|---|
CentOS7 | dip:172.16.120.100 vip:172.16.1.100 | LVS |
CentOS7 | rip:172.16.120.101 | RS1 |
CentOS7 | rip:172.16.120.102 | RS2 |
3. RS配置
配置IP地址,网关指向LVS主机
4. LVS配置
#开启转发 echo 1 > /proc/sys/net/ipv4/ip_forward #安装软件 yum install -y ipvsadm #添加分发规则 ipvsadm -A -t 172.16.1.100:80 -s rr ipvsadm -a -t 172.16.1.100:80 -r 172.16.120.101:80 -m ipvsadm -a -t 172.16.1.100:80 -r 172.16.120.102:80 -m
五、部署LVS DR集群
1. 工作原理
当用户请求到达director之后,director将请求报文中的源MAC地址修改为DIP的MAC地址,将目标MAC地址修改RIP的MAC地址,将请求发送到指定mac的realserver,而realserver将响应直接返回给客户端,不经过director。这个方式是三种调度中性能最好的,也是我们生产环境中使用最多的。
2. 环境说明
操作系统 | IP地址 | 角色 |
---|---|---|
CentOS7 | dip:172.16.120.100 vip:172.16.1.100 | LVS |
CentOS7 | rip:172.16.120.101 lo:0:172.16.1.100 | RS1 |
CentOS7 | rip:172.16.120.102 lo:0:172.16.1.100 | RS2 |
3. RS配置
#设置VIP ifconfig lo:0 172.16.1.100 netmask 255.255.255.255 up #修改内核参数 echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
4. LVS配置
#配置VIP ip addr add 172.16.1.100/24 dev eth0:0 #添加分发规则 ipvsadm -A -t 172.16.1.100:80 -s rr ipvsadm -a -t 172.16.1.100:80 -r 172.16.120.101:80 -g ipvsadm -a -t 172.16.1.100:80 -r 172.16.120.102:80 -g
六、部署LVS TUN集群
1. 工作原理
当用户请求到达director之后,director进行IP Tunnel封装,即在原有的包头加上IP Tunnel的包头然后发送出去。realserver服务器得根据IP Tunnel包头信息收到请求包,然后解开IP Tunnel包头信息,得到客户的请求包并进行响应处理。而realserver将响应直接返回给客户端,不经过director。
2. 环境说明
操作系统 | IP地址 | 角色 |
---|---|---|
CentOS7 | dip:172.16.120.100 vip:172.16.1.100 | LVS |
CentOS7 | rip:172.16.120.101 tunl0:172.16.1.100 | RS1 |
CentOS7 | rip:172.16.120.102 tunl0:172.16.1.100 | RS2 |
3. RS配置
#添加隧道 modprobe ipip ip link set up tunl0 #配置VIP ifconfig tunl0 172.16.1.100 netmask 255.255.255.255 up #修改内核参数 echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter
4. LVS配置
#修改内核参数 echo 1 > /proc/sys/net/ipv4/ip_forward #添加分发规则 ipvsadm -A -t 172.16.1.100:80 -s rr ipvsadm -a -t 172.16.1.100:80 -r 172.16.120.101:80 -i ipvsadm -a -t 172.16.1.100:80 -r 172.16.120.102:80 -i
补充:
arp_ignore 控制系统在收到外部的arp请求时,如何响应。常用的取值主要有0,1,2,3~8较少用到:
0:响应任意网卡上接收到的对本机IP地址的arp请求(包括环回网卡上的地址),而不管该目的IP是否在接收网卡上。
1:只响应目的IP地址为接收网卡上的本地地址的arp请求。
2:只响应目的IP地址为接收网卡上的本地地址的arp请求,并且arp请求的源IP必须和接收网卡同网段。
arp_announce 控制系统在对外发送arp请求时,如何选择arp请求数据包的源IP地址。常用的取值有0,1,2。
0:允许使用任意网卡上的IP地址作为arp请求的源IP
1:尽量避免使用不属于该发送网卡子网的本地地址作为发送arp请求的源IP地址。
2:忽略IP数据包的源IP地址,选择该发送网卡上最合适的本地地址作为arp请求的源IP地址。 rp_filter 参数用于控制系统是否开启对数据包源地址的校验 0:关闭反向路由校验 1:开启严格的反向路由校验。对每个进来的数据包,校验其反向路由是否是最佳路由。如果反向路由不是最佳路由,则直接丢弃该数据包。
2:开启松散的反向路由校验。对每个进来的数据包,校验其源地址是否可达,即反向路由是否能通(通过任意网口),如果反向路径不通,则直接丢弃该数据包。