下面介绍的是Linux集群
一、Linux集群基础
1、Linux集群类型：LB、HA、HP、DS
（1）、LB：负载均衡集群
缺陷：单点故障，其调度器会成为性能瓶颈
（2）、HA：高可用集群
平均无故障时间（MTBF）、平均故障修复时间（MTTR）。
有效值==MTBF/(MTBF+MTTR) -------------提高可用性公式
（3）、HP：高性能集群
（4）、DS：分布式系统集群
功能：分布式处理、分布式存储
2、Linux集群调度器：硬件(F5)、软件(lvs)。
3、负载均衡
（1）、传输层的负载均衡：四层交换
应用协议工具：lvs、nginx、haproxy
（2）、应用层的负载均衡：七层交换
应用协议工具：httpd、nginx、haproxy
（3）、FastCGI负载均衡：------------性能好，没httpd稳定
应用协议工具：httpd、nginx
（4）、mysql的负载均衡：
管理工具：mysql-proxy
二、lvs --------------Linux虚拟服务器
虚拟服务器：vs ------------调度器
真实服务器：rs（Real Server）----------后端服务器
CIP：客户端 ip，请求发送方 ip地址
VIP：虚拟服务器 ip，客户端访问的地址
DIP：调度器 ip
RIP：真实服务器的 ip
1、lvs基础
lvs是基于套接字（ip:port）来实现数据分发的。lvs，根据目标套接字，调度数据报文到后端真实服务器（rs）上，调度时，通过不同的算法来调度响应的服务器。
lvs使用的调度规则链：INPUT
iptables 和 lvs 的规则，不能同时使用，至少INPUT规则链不能同时使用。
lvs 的内核组件：ipvs ----------接收 ipvsadm 的管理命令，支持TCP、UDP、SCTP、AH、ESP、AH_ESP协议
用户空间工具为：ipvsadm ------------集群服务和 rs 管理
2、lvs的集群类型：lvs-nat、lvs-dr、lvs-tunnel。
（1）、lvs-nat -----------多目标IP地址的DNAT
client ---------> DIP ---------- >RIP ------------> RS（目标地址、目标端口）
（同一网段、私有IP）
具体步骤：
client ------> VIP --------> INPUT ------> DIP ------> RIP ------>RS
lvs-nat：（注意）
1、RIP和DIP在同一个网段，并应该是私有IP地址，RS的网关指向DIP。
2、请求报文和响应报文，都必须通过director转发器转发，易引发性能瓶颈、单点故障。
3、可以实现端口重定向，即VIP、DIP端口号可以不同。
4、vs必须是Linux系统，而RS可以是任意的操作系统。
（2）、lvs-dr（默认类型） ----------重要
dr：直接路由（注意判断网关）----------------响应报文不经过转发器
具体步骤：
client -------> 路由器 ----------> 交换机 ---------> VS -----------> RS ---------------> 交换机
（CIP+VIP） （RIP、DIP同一网段）
-------->路由器 ---------> client
步骤：
1、客户机将CIP+VIP（源CIP，目的VIP）报文发给路由器；
2、路由器将CIP+VIP报文发给交换机；
3、交换机根据目的地址为VIP，找到接收端为转发器VS；VS有VIP、DIP。
RS也有VIP地址，但是RS的arp_ignore=1/2，表示入栈接口为指定的接口，在此指定入栈接口为VS;
4、VS接收CIP+VIP报文，发现VIP地址是集群服务的，将报文中转给对应的RS；
VS有DIP接口、VIP标签接口（别名接口）；
5、RS因为有VIP地址，所以能接收CIP+VIP报文；RS的VIP在环回接口上，不和外部通信；
即：CIP+VIP报文不是从RIP直接发送出去，而是通过一条这路由到VIP的环回接口上走一圈，使发送的源地址变为VIP；
6、RS发送VIP+CIP给交换机；
因为RS内，arp_announce=2，决定了出栈地址，在此指定出栈为对应交换机；
7、交互机转发VIP+CIP报文发送给路由器；
8、路由器再将VIP+CIP报文发送给客户端；
客户端接收到VIP+CIP报文，就像直接从VS发来的一样，不会意识到有RS的存在。
lvs-dr：（注意）
1、通过对请求报文封装一个数据链路层首部（MAC地址）。
2、重新封装的源MAC地址，是DIP所在网络的MAC地址。
目的MAC地址，是调度选出来的RS的RIP接口的MAC地址。
3、源IP地址和源PORT，目的IP地址和目的PORT，在整个报文转发过程中保持不变
4、交换机 -------> VS：将目标地址为VIP的报文发往VS，方法：在路由器上静态绑定IP地址和MAC地址。
交换机 --------> RS：交换机到RS的方法，有两种：在RS上使用arptables，RS的内核参数（arp_announce、arp_ignore）
5、不支持端口重定向
6、RS为Linux
7、RS上必须配置RIP和VIP，并且VIP应该配置在lo接口的lable上
（3）、lvs-tun ----------只经过一次VS
tunnel：隧道封装，VS和RS之间的数据传输。
不修改请求报文的ip首部（CIP/VIP），而是在之外再封装一个IP首部（DIP/RIP）。
具体步骤：
client ----------> VS --------> RS ---------> client（只经过一次VS）
lvs-tun：（注意）
1、CIP，VIP，DIP，RIP都应该是公有IP地址
2、RS的网关无法指向DIP，因此响应报文不会经过Director转发，而是直接发往CIP
3、不支持端口重定向
4、RS必须支持隧道协议
5、RS上必须配置RIP和VIP
（4）、lvs-fullnat -----------非标准类型（VS的开销更大，但可增加一定的安全性）
同时修改请求报文的源IP地址、目的IP地址，实现报文转发。
CIP --------->DIP
VIP --------->RIP
即：CIP/VIP -------> DIP/RIP
lvs-fullnat：（注意）
1、CIP、VIP为公有地址，DIP、RIP为私有地址。DIP、RIP可不在同一网段。
2、RS对收到的请求报文的响应报文的目的地址是DIP，所以请求报文和响应报文都必须经过Director
3、支持端口重定向
3、lvs的调度算法
根据是否与RS的负载状态有关，分为：静态算法（无关）、动态算法（有关）。
（1）、静态算法：与算法本身有关
RR：轮询算法
WRR：加权轮询算法
SH：源地址哈希算法（源地址绑定）
DH：目标地址哈希（正向代理服务器） ---------缓存方式实现
（2）、动态算法：与RS当前负载状态有关，RS的负载：Overhead。
LC：最少连接数算法（选择Overhead值小的）------------存在【起点问题】
*WLC（默认算法）：加权最小连接算法 -------------存在【起点问题】
SED：最短期望延迟算法 -------------解决了起点问题，存在【连续请求问题】
NQ：无序列排队算法 ------------开始据RS权重依次分配一个，保证一个活动连接，然后再SED
LBLC：基于本地的最少连接数算法 ----------------动态DH（正向代理）
LBLCR：带有复制功能的LBLC算法 ------------带复制的动态DH（正向代理）
4、ipvsadm -------------编写ipvs规则
ipvs规则：作用于内核空间的TCP/IP协议栈上 -------------INPUT链上
ipvsadm命令：
（1）、集群相关
【添加】集群相关格式：
ipvsadm -A -t|u|f service-address [-s scheduler] [-p [timeout]]
常用选项：
-t：基于TCP的集群，其后地址为VIP地址
-u：基于UDP的集群，其后地址为VIP地址
-f：基于防火墙标记的集群，其后地址为mangle表中的标记
-s：集群调度算法
-p：持久连接
【修改】集群格式：ipvsadm -E -t|u|f service-address [-s scheduler] [-p [timeout]]
常用选项：
-E：删除集群
【删除】集群格式：ipvsadm -D -t|u|f service-address
常用选项：
-D：删除指定集群
【清除】集群：ipvsadm -C
常用选型：
-C：清空集群，所有清空
（2）、集群中的RS相关：
【添加】RS：ipvsadm -a -t|u|f service-address -r server-address [-g|i|m] [-w weight]
常用选项：
-r：添加的RS的，IP地址和端口
-w：权重
-g：dr集群 ----------默认
-i：tunnel集群
-m：nat集群
【修改】其中的RS：ipvsadm -e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
常用选项：
-e：修改集群中RS
【删除】其中的RS：ipvsadm -d -t|u|f service-address -r server-address
常用选项：
-d：删除集群中的RS
（3）、查看集群信息
格式：ipvsadm -L|l [options]：
常用选项：
-c：集群中各连接状态
--stats：集群的统计数据信息
--rate：传输速率相关
--timeout：超时时长
（4）、保存、重载ipvs的规则
保存格式：ipvsadm -S [-n]
# ipvsadm -S [-n] > /PATH/TO/IPVS_RULE_FILE
# ipvsadm-save > /PATH/TO/IPVS_RULE_FILE
重载格式：
# ipvsadm -R < /PATH/FROM/IPVS_RULE_FILE
# ipvsadm-restore < /PATH/FROM/IPVS_RULE_FILE
5、lvs-nat集群实现过程：
调度器配置：----------------支持端口重定向
# ipvsadm -A -t 172.16.72.1:80 -s rr
# ipvsadm -a -t 172.16.72.1:80 -r 192.168.100.8:8080 -m -w 1
# ipvsadm -a -t 172.16.72.1:80 -r 192.168.100.9 -m -w 2
RS服务器配置：
正常配置ip地址，注意网关指向调度器的DIP。
6、lvs-dr集群的实现过程：
调度器配置：------------两块网卡
一块网卡：作为主接口，配置DIP
另一块网卡：作为网络标签，配置VIP，用于接收报文。-----------注意配置广播地址，即只是自己使用。
# ifconfig eno16777736:0 172.16.72.101 netmask 255.255.255.255 broadcast 172.16.72.101 up
RS服务器配置：
网卡主接口：配置RIP
调整内核参数：
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore --------入栈接口
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce -------出栈接口
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
设置VIP：
# ifconfig lo:0 172.16.72.101 netmask 255.255.255.255 broadcast 172.16.72.101 up
设置直接路由：
# route add -host 172.16.72.101 dev lo:0
7、防火墙标记集群的实现过程：
打标记：iptables -t mangle -A PREROUTING -d VIP -p tcp --dport PORT -j MARK --set-mark 6
建防火墙标记集群：ipvsadm -A -f FWM -s rr
8、LVS持久连接：
常做的端口持久端口为：443、80
# iptables -t mangle -A PREROUTING -d VIP -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6
