LVS 负载均衡集群部署之 NAT 模式

原创

司徒晓宇 2018-11-22 16:18:42 博主文章分类：负载均衡 ©著作权

文章标签 LVS/NAT Linux LVS NAT 部署 文章分类 运维

©著作权归作者所有：来自51CTO博客作者司徒晓宇的原创作品，请联系作者获取转载授权，否则将追究法律责任

一、LVS-NAT模式的组成

LVS-NAT模式的实现，其主要依赖于 LVS调度器，即 Director Server，由上图可以看出，整个调度器，则由两部分构成：用户空间和内核空间。

1、内核空间，指的是，在负载均衡实现过程中，有一部分代码工作在内核之中，而这部分代码才是真正负载均衡实现调度的部分，叫做内核空间，即 IPVS

2、用户空间，指的是，在负载均衡实现过程中，负责为ipvs内核框架编写规则，定义集群服务角色，后端真实的服务器(Real Server)的部分，叫做用户空间，即 ipvsadm

二、LVS-NAT实现原理

参考拓扑图数据流向：

1、当客户端向 LVS 调度器发起请求时，首先数据包会到达 PREROUTING 链，而此时，数据包的源IP为CIP，目的IP为VIP，经由 PREROUTING 链的处理，改变数据包的目的IP地址和目的端口(而这里的目的IP地址和目的端口在用户空间中定义)，此时的目的地址变成RIP。

2、当 PREROUTING 链处理完数据包之后，会将数据包交给 INPUT 链，进行数据包过滤，过滤掉不属于目的主机地址(即集群服务)的数据包。

3、当 INPUT 处理完数据包后，会将数据包交给 POSTROUTING 链，在 POSTTOUTING 链，根据数据包的目的地址和主机路由表进行对比，选择最优路径，将数据包发送给Real Server。

4、数据包到达 Real Server 中，Real Server 会先根据自己的路由表判断数据包的目的地址是否为本机地址，如果是，则对此数据包做出响应，构建新的响应数据包交给 Director Server，而此时，数据包的源地址为 RIP，目的地址为 CIP，如果不是，则丢弃。

5、当客户端的响应数据包到达 Director Server 时，首先会经过 OUTPUT 链的转发，完了再将数据包交给 POSTROUTING 链，将响应数据包的源地址修改为本机的 VIP

6、最后，响应数据包会被发送给客户端

说明：关于数据流向的问题，这里只介绍个大概，如果需要更加详尽的数据处理过程，请参考 IPtables 防火墙工作原理，因为 LVS 是基于 IPtables 架构的。

这里推荐两篇博文：https://×××w.cnblogs.com/tangshengwei/p/4652011.html

https://blog.csdn.net/ggxiaobai/article/details/53609284

三、LVS-NAT部署注意事项

1、如拓扑图，RIP、DIP必须为私有地址，且Real Server 的网关必须指定为DIP

私有IP地址范围：

   A类地址范围：10.0.0.0—10.255.255.255
    B类地址范围：172.16.0.0---172.31.255.555
    C类地址范围：192.168.0.0---192.168.255.255

2、RIP、DIP必须处于同一网段

3、请求数据和响应数据都需要经过Director Server，在高负载场景中，Director Server 很容易成为性能瓶颈

四、LVS-NAT 部署

1、提前准备好两台 Real Server 服务器，Real Server 服务器环境搭建这里就不多作介绍，请参考小弟前期的博文

http://blog.51cto.com/4746316/2313671
http://blog.51cto.com/4746316/2313873

两台 Real Server 的IP分别设置为，172.16.0.2、172.16.0.3，即为 RIP，网关设置为172.16.0.4（DIP）。

2、提前准备好MySQL数据库，数据库的安装，请参考小弟前期的博文 http://blog.51cto.com/4746316/2313577 。

3、安装 Director Server 服务器。

a、开启系统内核路由转发功能
[root@lvs ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
或者
[root@lvs ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
[root@lvs ~]# sysctl –p
注意：如果在sysctl.conf文件中net.ipv4.ip_forward = 1已经存在，说明系统内核转发功能已开启，或者cat /proc/sys/net/ipv4/ip_forward 值为1时，也说明内核转发功能已开启。
b、生产环境中，最好关闭 icmp 重定向
[root@lvs ~]# echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
[root@lvs ~]# echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
[root@lvs ~]# echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
[root@lvs ~]# echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects
或者
[root@lvs ~]# echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
或者
[root@lvs ~]# echo "net.ipv4.icmp_echo_ignore_all=1" >> /etc/sysctl.conf
c、设置服务器地址
设置内部网卡地址为：172.16.0.4（DIP），设置外部网卡地址为：192.168.20.136（VIP）
d、安装、配置 ipvsadm
[root@lvs ~]# yum –y install ipvsadm
[root@lvs ~]# ipvsadm –A –t 192.168.20.136 –s wrr
[root@lvs ~]# ipvsadm –a –t 192.168.20.136 –r 172.16.0.2 –m –w 1
[root@lvs ~]# ipvsadm –a –t 192.168.20.136 –r 172.16.0.3 –m –w 2
到此，LVS-NAT就配置完了，三条命令，如果后端真实服务器多的话，再往里面加就 OK了。
e、我们将前面步骤整理写成脚本
#!/bin/bash
VIP=192.168.20.136
RIP1=172.16.0.3
RIP2=172.16.0.4
port=80
echo "开启系统内核转发功能！"
cat /etc/sysctl.conf | grep "net.ipv4.ip_forward = 1" &> /dev/null
forward=$?
if [[ $forward -ne 0 ]]; then
     echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
     sysctl -p
fi
echo "禁止 icmp 重定向！"
cat /etc/sysctl.conf | grep "net.ipv4.icmp_echo_ignore_all=1" &> /dev/null
icmp=$?
if [[ $icmp -ne 0 ]]; then
     echo "net.ipv4.icmp_echo_ignore_all=1" >> /etc/sysctl.conf
     echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
fi
echo "安装 ipvsadm 服务！"
yum -y install ipvsadm
ipvsadm -A -t $VIP -s wrr
for ip in $RIP1 $RIP2
do
     ipvsadm -a -t $VIP:$port -r $ip:$port -m
done
f、我们写个监控脚本，来监控两台 Real Server 能否正常访问，并动态的实时修改 ipvsadm 配置（由于目前为止我们还没学习类似 keeplive 的高可用方案，因此以脚本代替。）
#!/bin/bash
VIP=192.168.20.136
RIP1=172.16.0.3
RIP2=172.16.0.4
port=80
while :
do
     for IP in $RIP1 $RIP2
     do
         curl http://$IP &> /dev/null
         web_status=$?
         ipvsadm -Ln | grep $IP &> /dev/null
         lvs_status=$?
        if [[ $web_status -ne 0 && $lvs_status -eq 0 ]]; then
             ipvsadm -d -t $VIP:$port -r $IP:$port
        elif [[ $web_status -eq 0 && $lvs_status -ne 0 ]]; then
             ipvsadm -a -t $VIP:$port -r $IP:$port -m
        fi
     done
     sleep 1
done
g、由于我们在配置 ipvsadm 的时候并没写明权重，如果后期，我们要对权重和调度算法进行调整时，可以使用以下命令
ipvsadm -E -t 192.168.20.136 -s rr
或者可以将其写入安装脚本中。
h、查看ipvsadm 负载均衡状态
ipvsadm -Ln
如图：
i、查看ipvsadm负载均衡连接状态
ipvsadm -lnc
或者
watch -n1 ipvsadm -lnc     表示1秒钟刷新一次，这里的时间时可以修改的，也可以为小数，比如 watch -n0.5 ipvsadm -lnc
如图：
j、验证
我们分别在Real Server中新建index.php文件
Real ServerA 中index.php文件内容为：Real ServerA
Real ServerB 中index.php文件内容为：Real ServerB
然后，我们访问 http://192.168.20.136
如图：
由于，用浏览器访问时会有缓存，导致可能刷新很多遍页面还是 Real ServerA 或者 Real ServerB ，所以，我这里分别用两个不同的浏览器进行访问
我们也可以在 Linux 服务器中用 curl 进行访问，curl没有缓存，访问结果会向第一张图那样