- 一、集群
1. HA:高可用性,衡量标准,平均无故障时间
平均无故障时间/(平均无故障时间+平均修复时间)---à 95%, 99%, 99.9%, 99.99%, 99.999%
四层交换,工作在tcp/ip的第四层。无法根据应用层转发。
七层转发,七层负载均衡。可以使用应用层来控制。
2. 集群类型
3. LB
硬件解决方案:F5 BIG-IP / Citrix Netscaler / A10 A10 / Array / Redware
软件解决方法之lvs
类型
NAT | 1、 RS应该使用私用地址 2、 RS网关必须指向DIP 3、 RIP和DIP必须要在同一网段内 4、 请求和响应的报文都要经过Director。在负载场景中,Driector很可能成为性能瓶颈 5、 支持端口映射 6、 RS可以使用任意支持几乎服务的OS 10个RS情况下使用 小知识:cip请求到达vip,vip将报文经过DNAT (服务器发布)转发给RS,RS进行处理,然后RS将网关指向DIP,这样,再经过目标地址转换,将处理的请求发送给cip。Director处理达大量的数据,因此负压较大 |
DR | 直接路由(Direct Routing)。DR是为了解决NAT模式下Driector负载了接受请求,返回请求的双重任务。将返回请求的工作解放出来,由RS自己来处理,自己来返回。 让前端路由将请求发往VIP时,只能是Director上的VIP。禁止RS响应对VIP的ARP的广播请求。解决方案: 1)静态地址绑定:未必有路由器的配置权限;故障转移时,无法更新绑定 2)在RS上安装arptables,自写规则 3)RS必须是Linux,修改Linux内核参数,将RS上的VIP配置为lo接口别名,限制Linux仅对对应的ARP请求响应 1、 RS可以使用私有地址,也可以使用公网地址,此时可以直接通过互联网连入RS实现监控、配置等 2、 RS的网关不能指向DIP 3、 RS需跟Director在同一物理网络内(不能由路由器分隔) 4、 请求报文经过Director,但响应报文一定不经过Director 5、 不支持端口映射 6、 RS可以使用大多数的操作系统(可以配置VIP等) 一些小知识点:有两种情况A,vip dip rip不在同一网络内,dip rip在同一个局域网内,vip为i外网IP。在Director中通过广播维护有RS的mac:ip地址对应表,当请求报文到来之后,更改了目标vip的mac地址,在物理网络内由于是通过mac地址通信,因此可以正确找到对应的RS服务器。在对应的RS服务器内,配置有vip,这样,通过vip处理,得到响应数据包源地址vip,目标地址cip。这个时候,只能通过RS的网卡进行通信(虽然在RS中有vip,但是这个只能修改响应报文的源IP,不能与外部主机进行通信),这样,RS就不能接入与vip相同的路由器,因为他们不在同一个网段。这个时候就需要给RS提供一个单独的路由器,然后与cip进行通信 B,vip dip rip在同一个网段内,都是互联网IP,这样,vip接受报文请求,转发至RS,RS处理后直接通过相同的路由器设备就可以与cip通信 |
TUN | IP隧道 1、 RIP DIP VIP 都需要为公网地址 2、 RS网关不会指向也不可能指向DIP 3、 请求报文经过Director,但响应报文一定不经过Director 4、 不支持端口映射 5、 RS的os必须支持隧道功能 |
FULLNAT | 需给内核打补丁 |
lvs调度方法(scheduling method)
session管理
1、 session绑定:始终将同一个请求这的连接定向至同一个RS(第一此请求时仍由调度方法选择),没有容错能力
2、 session复制:在RS之间同步session,因此,每个RS持有集中中所有的session,对与大规模的集群环境不使用,反集群
3、 session服务器:利用单独部署的服务器统一存储管理session,需要使用高可用的方法实现。
4. 什么是lvs集群服务
LVS :Linux Virtual Server
基本概念:lvs无法监控后台服务器的健康状况。工作在内核,数据不用进入用户空间,已经脱离了套接字的限制,效率高,使用于大型网站。IPVS与iptables不能同时使用
四层交换:四层路由
ipvs根据请求目标套接字(包括端口的协议类型tcp,udp)来实现转发。
ipvs依靠ipvsadm书写规则实现功能
系统默认支持ipvs,但默认的管理工具ipvsadm需要安装。
5、NAT模式
在NAT模式中,请求从CIP发出,vip接受到请求报文时,源IP为cip,目标IP为vip。经过lvps,使用目标地址转换,报文头发生改变,源IP为cip,目标IP为rip。在RS处理之后,再封装成报文,此时报文rip为源地址,vip为目标地址,指定RS的默认网关为dip。
经过Director的DNAT功能,出去之后的源IP地址为vip,目标地址cip。这样cip就可以得到自己想要要的响应。
因此,主要的配置如下:
基本的配置思路:在Director上设定vip(这里vip是一个浮动的IP地址,设置成eth0的别名)。设置dip(dip作为rip的默认网关)。在RS上设置好各自的ip地址即可。这些设置好后,在Driector上打开转发(不同的IP之间的数据转发),然后设置ipvs的规则即可。设置完成后可以测试。
6、DR模式
在DR模式下,Director有两个IP,vip和dip。RS也有两个IP,vip和rip。
为什么要给RS vip?
为了分摊Director的负担,将响应的工作给了RS。这样出去的报文要由DR来承担发送。不考虑别的问题,RS处理了Director发过来的请求,如果不做任何改变,仍然以自己的IP地址作为源IP,那么报文将不能正确响应cip。因此,需要给RS分配vip地址,数据报的格式包装成源IP为vip,目标Ip为cip。
怎样实现Driector转发给RS,并且目标IP是vip?
当用户请求的报文到达网络后,用arp协议请求vip的物理位置,这个时候一定要认为屏蔽掉RS的vip响应请求报文,确保请求报文能正确找到Director,到达Director之后,经过调度将请求转发给RS,根据上述问题,如果将整个时候的目标地址更改为rip,最后报文将不能正确响应客户端。因此在上图3位置,不能使用rip作为目标地址,仍然使用vip。为了能够找到RS,Director维护了一张RS的IP与mac地址对应表,此处处理后,将vip的mac地址更换为rip的mac地址,就可以正确找到RS了。
具体的流程是什么?
如上图所示,解析之:当客户端的请求过来,源IP为cip,目标ip为vip。到达内部的物理网络后,广播请求知道vip所在的物理位置,这个时候一定要屏蔽掉RS上的vip对此请求的回应(此处包含两层含义:在广播请求IP的时候,设置RS上的vip广播地址为自己,不响应这个广播;在arp层面上,设置不响应不通告arp(由于Linux特性,会主动通报接受主机上所有的网卡信息)),请求报文正确到达Director,经过处理,替换vip的mac地址为RS的mac地址,找到RS。在RS上处理之后,封装为源IP是vip,目标IP是cip的报文响应客户端。在从RS出去之后,有两种情况需要考虑。如果RS同vip一样,在同一个网段,都是公网IP,那么可以直接连接同一个路由器直接转发出去;如果RS仅仅是内部的IP地址,这个时候,由于不和ip在同一个网段不能使用同一个路由器,必须使用另外的路由器做转发。
关联知识
当rip、dip、vip在同一网段中时:
配置过程:
1、 配置Director上IP信息
1) 配置vip为eth0:0 172.16.37.10
2) 设置主机路由
# route add -host 172.16.37.11 dev eth0:0 ?这一步有必要吗?
打开转发功能
echo "1" > /proc/sys/net/ipv4/ip_forward
2、 配置RS上IP
1) 设置rip:设置ip为 172.16.37.2 172.16.37.3
2) 设置arp规则
# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
3) 设置vip在lo上:
# ifconfig lo:0 172.16.37.10 netmask 255.255.255.255 broadcast 172.16.37.11 up
4) 设置lo的主机路由
# route add -host 172.16.37.10 dev lo:0
3、 配置Director上规则
# ipvsadm -A -t 172.16.37.10:80 -s rr
# ipvsadm -a -t 172.16.37.10:80 -r 172.16.37.2 -g
# ipvsadm -a -t 172.16.37.10:80 -r 172.16.37.2 –g
vip与dip、rip不在同一网段时
这里,使用的客户端是172.16.37.100。192.168.0.1与172.16.0.1之间能互相转发。这里还有一个dip 192.168.37.100,但是似乎没有使用上使用
1、 配置各IP地址
1) 配置Director上的vip:
ifconfig eth0:0 172.16.37.10 netmask 255.255.255.255 broadcast 172.16.37.10 ?
route add –host 172.16.37.10 dev eth0:0
2) 配置RS上的IP
ipconfig eth0 192.168.0.2/24
ipconfig eth0 192.168.0.3/24
确认他们的网关是192.168.0.254
route add default gw 172.168.0.254
2、 配置RS上的内核参数
# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
3、 配置RS上的lo:0及主机路由:
ifconfig lo:0 172.16.37.10 netmask 255.255.255.255 broadcast 172.16.37.10
route add –host 172.16.37.10 dev lo:0
4、 配置RS上规则
# ipvsadm -A -t 172.16.37.10:80 -s rr
# ipvsadm -a -t 172.16.37.10:80 -r 192.168.0.2 -g
# ipvsadm -a -t 172.16.37.10:80 -r 192.168.0.3 –g
转发功能打开echo "1" > /proc/sys/net/ipv4/ip_forward
(这个不是持久有效的)
7、LVS持久性
连接模板:ipvsadm –L –C
在Director中的连接模板,记录了连接信息,包括timeout。根据用户模版,追踪用户请求,设置请求时间。
持久连接类型
PCC
将来自于同一个客户端发往VIP的所有请求同一定向至同一个RS
定义规则时 ipvsadm –A –t 172.16.37.10:80 –p 120
ipvsadm –A –t 172.16.37.10:0
PPC
将来自同一个客户端发往某VIP的某端口的所有请求同一定向至同一个RS
定义规则时
ipvsadm –A –t 172.16.37.10:22
PFMC
端口绑定:port affinity。能够实现基于防火墙标记,将两个或以上的端口绑定为同一个服务。
若超时,则默认续订2分钟
主要介绍:PFMC,这里使用iptables给防火墙打标记。然后再编写规则
RS设置同DR。主要是在Director上设置有所不同。
设置防火墙标记:# iptables -t mangle -A PREROUTING -d VIP -p tcp --dport CS_Port -j MARK --set-mark # (0-99)
定义集群规则:# ipvsadm -A -f #
[root@localhost ~]# iptables -t mangle -A PREROUTING -d 172.16.37.10 -p tcp --dport 80 -j MARK --set-mark 10
[root@localhost ~]# iptables -t mangle -A PREROUTING -d 172.16.37.10 -p tcp --dport 443 -j MARK --set-mark 10
[root@localhost ~]# service iptables save
iptables: Saving firewall rules to /etc/sysconfig/iptables:[ OK ]
[root@localhost ~]# ipvsadm -A -f 10 -s rr
[root@localhost ~]# ipvsadm -a -f 10 -r 192.168.0.2 –g
[root@localhost ~]# ipvsadm -a -f 10 -r 192.168.0.3 –g
小结:lvs是淘宝正名研发的集群开源软件,作为国人开发的软件,由是开源软件中的佼佼者,应多学习使用。但,这里不禁要思考一个问题,马云真的是个好鸟吗?呵呵