LVS

小知识

DR集群全部需要公网IP       请求数据是客户端通过调度器到后端服务器,因为后端服务器直接返回数据给客户端所以需要公网IP

如果后端服务器不配公网ip就需要加交换机/路由器,然后配置网关指定到路由器/交换机

后端服务器就需要配置vip不然数据包会被客户端丢弃,因为发给A的数据包不能由B来回应

配vip会导致IP冲突,所以需要修改内核参数防止冲突

跨网段通信必须走网关,私网IP不能上公网,必须用NAT转为公网

nginx上网效率没有LVS高

LVS:只能转发IP包,工作在四层

nginx(代理):客户端请求图片,nginx代理需要把来自客户端数据包解包,把源地址改为自己的,目标地址改为服务器的,把客户端的包再封装一遍,然后自己再求服务端,服务端再解包查看客户端需求,然和把源地址是自己,目标地址是nginx代理服务器,到达nginx代理再把源地址改为自己,目标地址为客户端,再包返回给客户端,到此完成。     这相当于nginx代理在上网,一直重复解包封包的过程,所以效率比LVS低

LVS-NAT :客户端请求图片,源地址自己,目标LVS调度器,LVS相当与路由器(需要开启路由转发),客户端源地址不变,目标地址后端服务器,(不需要解包封包,只需要改目标IP,NAT就是把公网IP转私网IP。私网IP转公网IP),数据包到达后端服务器,数据包的返回是跨网段的,需要配置网关,指定到LVS,LVS调度器再返回数据包给客户端,  (LVS-NAT有一个缺点,LVS调度器是集群的瓶颈,数据进来没问题,但出数据流量大—用DR集群解决)

TUN模式:客户访问上海的调度器,上海转请求转到北京,所以需要用到VPN

LVS-NAT(数据哪里进哪里出)  LVS-DR(数据A点进来B点出去)  LVS-TUN(调度器和服务器分开,跨网了)

高性能计算集群HPC,负载均衡(LB)集群,高可用(HA)集群。

一般做集群需要在后面做一个存储服务器;来保证所以服务器内容是一致的(可以用NFS挂载到服务器上)

调度算法

轮询 (Round  Robin)   将客户端请求平均分发到服务器

加权轮询 (Weighted Round Robin)   根据Real Server权重值进行轮询调度(自己设置权重)

最少连接 (Least Connections)有些人上完网就把网页给关了,有些人最小化不关,哪个连接数少连接哪个

加权最少连接(Weighted Least  Connections)有些人上完网就把网页给关了,有些人最小化不关,给性能好的多分配一点

源地址散列(Source Hashing)nginx里叫ip_hash(有些网站需要输密码登录,但是另一台不知道,根据源地址相同的IP访问相同的服务器)

LVS的IP负载均衡计算是通过IPVS模块实现的,IPVS模块已成为Linux组成部分

借助工具进行LVS(ipvsadm和keepalived)

说明:

CIP是客户端的IP地址;

VIP是对客户端提供服务的IP地址;

RIP是后端服务器的真实IP地址;

DIP是调度器与后端服务器通信的IP地址(VIP必须配置在虚拟接口)

如何跨网段建立bgp 跨网段nat_IP

如何跨网段建立bgp 跨网段nat_IP_02

部署LVS-NAT集群

集群对外公网IP地址为192.168.4.5

调度器内网IP地址为192.168.2.5

真实Web服务器地址分别为192.168.2.100、192.168.2.200

使用加权轮询调度算法,真实服务器权重分别为1和2

如何跨网段建立bgp 跨网段nat_linux_03

如何跨网段建立bgp 跨网段nat_IP_04

设置Web服务器(以web1为例)web2一样但用不同的页面200 -web1和web2必须配置网关地址

[root@web1 ~]# yum -y install httpd
 [root@web1 ~]# echo "192.168.2.100" > /var/www/html/index.html
[root@web1 ~]# systemctl restart httpd

部署LVS-NAT模式调度器

确认调度器的路由转发功能(如果已经开启,可以忽略)

[root@proxy ~]# echo 1 > /proc/sys/net/ipv4/ip_forward        临时设置规则
 echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf                  修改配置文件,设置永久规则

创建集群服务器

# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr                      [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m    添加真实服务器  [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m  
[root@proxy ~]# ipvsadm -Ln          查看规则列表
[root@proxy ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm    永久并保存规则

客户端测试 客户端使用curl命令反复连接http://192.168.4.5,查看访问的页面是否会轮询到不同的后 端真实服务器。

]# ipvsadm    -C 并且#ipvsadm-save -n > /etc/sysconfig/ipvsadm 清空所有规则永久保存

 

部署LVS-DR集群

客户端IP地址为192.168.4.10

LVS调度器VIP地址为192.168.4.15

LVS调度器DIP地址设置为192.168.4.5

真实Web服务器地址分别为192.168.4.100、192.168.4.200

使用加权轮询调度算法,web1的权重为1,web2的权重为2

如何跨网段建立bgp 跨网段nat_客户端_05

如何跨网段建立bgp 跨网段nat_客户端_06

设置Proxy服务器的VIP和DIP  为了防止冲突,VIP必须要配置在网卡的虚拟接口!!!

[root@proxy ~]# cd /etc/sysconfig/network-scripts/
 [root@proxy ~]# cp ifcfg-eth0{,:0}
 [root@proxy ~]# vim ifcfg-eth0:0
 TYPE=Ethernet   #网卡类型为:以太网卡
 BOOTPROTO=none #none手动配置IP,或者dhcp自动配置IP NAME=eth0:0    #网卡名称 
DEVICE=eth0:0 #设备名称 
 ONBOOT=yes #开机时是否自动激活该网卡  
IPADDR=192.168.4.15   #IP地址 
 PREFIX=24  #子网掩码 
[root@proxy ~]# systemctl restart network

常见问题:RHEL7和Centos7系统中有两个管理网络的服务,有可能冲突?

解决方法:关闭NetworkManager服务后重启network即可。

 

设置Web1服务器网络参数(web2一样)

[root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \ ipv4.addresses 192.168.4.100/24 connection.autoconnect yes
 [root@web1 ~]# nmcli connection up eth0

web1配置VIP地址

注意:这里的子网掩码必须是32(也就是全255),网络地址与IP地址一样,广播地址与IP 地址也一样

[root@web1 ~]# cd /etc/sysconfig/network-scripts/
 [root@web1 ~]# cp ifcfg-lo{,:0}
 [root@web1 ~]# vim ifcfg-lo:0
DEVICE=lo:0
 IPADDR=192.168.4.15
 NETMASK=255.255.255.255
 NETWORK=192.168.4.15
 BROADCAST=192.168.4.15
 ONBOOT=yes
 NAME=lo:0

 

防止地址冲突的问题,sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包,只有调度器会 响应,其他主机都不做任何响应,这样防止地址冲突的问题。

[root@web1 ~]# vim /etc/sysctl.conf
 #手动写入如下4行内容
 net.ipv4.conf.all.arp_ignore = 1
 net.ipv4.conf.lo.arp_ignore = 1
 net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2

0通通告诉别人

1尽量不告诉别人

2打死都不告诉别人

对应目录,all对应所以物理网卡  不包括lo

 #当有arp广播问谁是192.168.4.15时,本机忽略该ARP广播,不做任何回应

 #本机不要向外宣告自己的lo回环地址是192.168.4.15

[root@web1 ~]# sysctl -p 
 [root@web1 ~]# systemctl restart network   重启网络服务,设置防火墙与SELinux
常见错误:如果重启网络后未正确配置lo:0,有可能是NetworkManager和network服务有 冲突,关闭NetworkManager后重启network即可。(非必须的操作
 [root@web1 ~]# systemctl stop NetworkManager
 [root@web1 ~]# systemctl restart network

proxy调度器安装软件并部署LVS-DR模式调度器

[root@proxy ~]# yum -y install ipvsadm
 [root@proxy ~]# ipvsadm -A -t 192.168.4.15:80 -s wrr
[root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.100 -g -w 1  [root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.200 -g -w 2

查看规则列表,并保存规则

[root@proxy ~]# ipvsadm -Ln

客户端使用curl命令反复连接http://192.168.4.15,查看访问的页面是否会轮询到不同的后 端真实服务器

扩展知识:默认LVS不带健康检查功能,需要自己手动编写动态检测脚本,实现该功能:

[root@proxy ~]# vim check.sh
 #!/bin/bash
 VIP=192.168.4.15:80
 RIP1=192.168.4.100
 RIP2=192.168.4.200
 while :
 do
for IP in $RIP1 $RIP2
    do
          curl -s http://$IP &>/dev/vnull
 if [ $? -eq 0 ];then
            ipvsadm -Ln |grep -q $IP || ipvsadm -a -t $VIP -r $IP
        else
              ipvsadm -Ln |grep -q $IP && ipvsadm -d -t $VIP -r $IP
         fi
   done
 sleep 1
 done