18.6 负载均衡集群介绍

• 主流开源软件LVS、keepalived、haproxy、nginx等

• 其中LVS属于4层(网络OSI 7层模型),nginx属于7层,haproxy既可以认为是4层,也可以当做7层使用

• keepalived的负载均衡功能其实就是lvs

• lvs这种4层的负载均衡是可以分发除80外的其他端口通信的,比如MySQL的,而nginx仅仅支持http,https,mail,haproxy也支持MySQL这种

• 相比较来说,LVS这种4层的更稳定,能承受更多的请求,而nginx这种7层的更加灵活,能实现更多的个性化需求



18.7 LVS介绍

•LVS是由国人章文嵩开发

• 流行度不亚于apache的httpd,基于TCP/IP做的路由和转发,稳定性和效率很高

• LVS最新版本基于Linux内核2.6,有好多年不更新了

• LVS有三种常见的模式:NAT、DR、IP Tunnel

• LVS架构中有一个核心角色叫做分发器(Load balance),它用来分发用户的请求,还有诸多处理用户请求的服务器(Real Server,简称rs)



LVS NAT模式

负载均衡集群介绍&LVS介绍&LVS调度算法&LVS NAT模式搭建_HAproxy

• 这种模式借助iptables的nat表来实现

• 用户的请求到分发器后,通过预设的iptables规则,把请求的数据包转发到后端的rs上去

• rs需要设定网关为分发器的内网ip

• 用户请求的数据包和返回给用户的数据包全部经过分发器,所以分发器成为瓶颈

• 在nat模式中,只需要分发器有公网ip即可,所以比较节省公网ip资源

LVS NAT模式的特点

1、LVS NAT模式是通过一个分发器(Load Balancer);把用户的请求,分发给后端的Real Server ,Real Server这些服务器接收到请求以后,处理好用户请求以后,就重新丢回给分发器;最后分发器再返回给用户;

2、LVS NAT模式的弊端是分发器会成为整个网络的瓶颈,当访问量、请求量、反馈量大的时候,分发器的压力会很大

3、LVS NAT模式的规模,一般最多支持10来台服务器,超过10台的话就会有力不从心;

4、LVS NAT模式这个结构,只需要有一个公网IP,其他real server服务器全部在内网就可以实现。可以节省很多的公网IP资源



LVS IP Tunnel模式

负载均衡集群介绍&LVS介绍&LVS调度算法&LVS NAT模式搭建_vmware_02

• 这种模式,需要有一个公共的IP配置在分发器和所有rs上,我们把它叫做vip

• 客户端请求的目标IP为vip,分发器接收到请求数据包后,会对数据包做一个加工,会把目标IP改为rs的IP,这样数据包就到了rs上

• rs接收数据包后,会还原原始数据包,这样目标IP为vip,因为所有rs上配置了这个vip,所以它会认为是它自己



LVS IP Tunnel模式的特点

在分发器(load balancer)与真实服务器(real server)之间建立了虚拟通道,叫做 ip tunnel ;实际上是更改了数据包目的IP;请求过来通过分发器,通过在真实服务器上配置的VIP;用户请求的时候,数据包里面包好的目的IP,当数据包到达分发器的时候,分发器会进行一个数据包目的IP的更改,然后发送到具体的真实服务器上,通过lvs的自己的算法,进行实现到底传输到哪台真实服务器上;然后真实服务器再解包处理,再通过一个VIP直接通过公网返回到用户,这样省略数据回到分发器的过程,减小了分发器的压力,解决了分发器的瓶颈。



LVS DR模式

负载均衡集群介绍&LVS介绍&LVS调度算法&LVS NAT模式搭建_Keepalived_03

• 这种模式,也需要有一个公共的IP配置在分发器和所有rs上,也就是vip

• 和IP Tunnel不同的是,它会把数据包的MAC地址修改为rs的MAC地址

• rs接收数据包后,会还原原始数据包,这样目标IP为vip,因为所有rs上配置了这个vip,所以它会认为是它自己



LVS DR模式的特点

与IP Tunnel模式整体过程相同,不同的是,它会把数据包的MAC地址修改为rs的MAC地址进行分发。



18.8 LVS调度算法

• 轮询 Round-Robin  rr

• 加权轮询 Weight Round-Robin wrr

• 最小连接 Least-Connection lc

• 加权最小连接 Weight Least-Connection wlc

• 基于局部性的最小连接 Locality-Based Least Connections lblc

• 带复制的基于局部性最小连接 Locality-Based Least Connections with Replication  lblcr

• 目标地址散列调度 Destination Hashing dh

• 源地址散列调度 Source Hashing  sh

注:前4种为常用的调度算法



18.9/18.10 LVS NAT模式搭建



准备工作

准备三台机器

• 分发器,也叫调度器(简写为dir)

内网:88.15,外网:99.99(vmware仅主机模式)

• rs1

内网:88.5,设置网关为88.15

• rs2

内网:88.10,设置网关为88.15

增加网卡时需要注意:

在虚拟机增加一个新的网卡之后,并设置为仅主机模式

开启虚拟机,用ifconfig命令,查看是否已经加载了网卡——>安装ifconfig包:yum install -y net-tools

复制网卡配置文件到新的网卡里面,并更改配置文件中的IP,删除UUID,更改mac

[root@linux-15 ~]# cd /etc/sysconfig/network-scripts/
[root@linux-15 network-scripts]# cp ifcfg-ens33 ifcfg-ens37
[root@linux-15 network-scripts]# vim ifcfg-ens37

更改mac,可以使用ip add命令查看,新的网卡的mac,并在配置文件中更改

重启网卡

ifup ens37

重启网络服务

systemctl restart network

用物理机尝试新的网卡IP是否能通信

三台机器上都执行执行

systemctl stop firewalld
systemc disable firewalld
systemctl start iptables
iptables -F
service iptables save



在分发器上安装ipvsadm

[root@linux-15 network-scripts]# yum install -y ipvsadm



在分发器上编写脚本

vim /usr/local/sbin/lvs_nat.sh  
内容如下
#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward //对内核参数修改,打开路由转发
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects //伪装操作,不然不能转发rs的数据
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects //伪装操作,不然不能转发rs的数据
# 注意区分网卡名字,两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.88.0/24 -j MASQUERADE
//MASQUERADE实现同网段的机器去上网,路由器使用的就是这个功能
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm' //定义一个变量,方便下面命令引用
$IPVSADM -C //清空规则
$IPVSADM -A -t 192.168.99.99:80 -s wlc -p 3 //用来定义lvs的模式;wlc为算法,可以按需求选择lvs里面适合的算法
$IPVSADM -a -t 192.168.99.99:80 -r 192.168.88.5:80 -m -w 1 //详细规则,-r 指定rs机器IP,-m 指定nat模式,-w指定rs权重
$IPVSADM -a -t 192.168.99.99:80 -r 192.168.88.10:80 -m -w 1 //详细规则,-r 指定rs机器IP,-m 指定nat模式,-w指定rs权重

IPVSADM -A -t 192.168.142.144:80 -s lc -p 3 : -A增加一个规则,-t 制定lvs 模式,之后IP 就是分发器的IP,-s 指定算法;-p 指定超时时间(数据包转发超时时间),例如用户1访问的是a机器,-p 的意思就是在同一个时间,一直在同一台机器上进行请求



测试脚本

[root@linux-15 network-scripts]# sh /usr/local/sbin/lvs_nat.sh
[root@linux-15 network-scripts]#

执行脚本,若是没输出,表示脚本没有错误



效果测试

使用curl模拟公网IP进行访问

[root@linux-15 network-scripts]# curl 192.168.99.99
master master
[root@linux-15 network-scripts]# curl 192.168.99.99
This is a default site.
[root@linux-15 network-scripts]# curl 192.168.99.99
master master
[root@linux-15 network-scripts]# curl 192.168.99.99
This is a default site.
[root@linux-15 network-scripts]# curl 192.168.99.99
master master

通过上述结果,说明lvs已经部署成功了