1  概述

LVS:Linux Virtual Server,负载调度器,集成内核,不是单一的软件,名字是IPVS, ipvsadm是管理工具,开发者是章文嵩

LVS工作原理:VS根据调度算法来挑选RS,根据请求报文的目标IP和目标协议及端口将其调度转发至某RS。

LVS实现调度,均衡负载,调度请求到后台服务器。但是LVS不能实现监控后端服务器状态。需要配合keepalive一起工作。

后台服务器回复请求的时候如果还是返回调度器的话,这样会导致调度器的负担很大。所以一般后台服务器回复请求的时候,不会原路返回。可能会将包直接发给客户端。这个跟lvs的工作模式有关。

LVS放在路由表和INPUT之间,所以在LVS上,建议关闭iptbles的策略,否则可能会干扰LVS的工作

官网:http://www.linuxvirtualserver.org/


2  LVS集群类型中的术语

VS:VirtualServer, Director, Dispatcher(调度器),实现Load Balancer,负责调度

RS:RealServer(lvs), upstream server(nginx),是backend server(haproxy),负责真正提供服务,调度器后面的服务器。

CIP:ClientIP 客户端IP

VIP: Virtual serve IP,VS外网的IP

DIP: Director IP,VS内网的IP

RIP: Real server IP

L4:四层路由器或交换机,基于四层的调度器。不能实现基于cookie的调度。

ipvsadm:用户空间的命令行工具,规则管理器,用于管理集群服务及RealServer

ipvs:工作于内核空间netfilter的INPUT钩子前的框架

.访问流程:CIP<--> VIP == DIP <--> RIP


3  LVS集群的类型

lvs集群的类型有四种:

lvs-nat:修改请求报文的目标IP,多目标IP的DNAT

lvs-dr:操纵封装新的MAC地址

lvs-tun:在原请求IP报文之外新加一个IP首部

lvs-fullnat:修改请求报文的源和目标IP

3.1  LVS-NAT模式

适用于后台服务器不多的环境,因为服务器响应的包必须原路返回,这样会给调度器造成压力。

lvs-nat:本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

lvs-nat实现有以下四点注意事项

(1)RIP和DIP推荐在同一个IP网络,且应该使用私网地址;RS的网关要指向DIP

(2)请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈

(3)支持端口映射,可修改请求报文的目标PORT

(4)VS必须是Linux系统,RS可以是任意OS系统

VS/NAT的体系结构

LVS  之  集群类型介绍_nat

NAT模式IP包调度过程

LVS  之  集群类型介绍_nat_02

3.2  LVS-DR模式

适合于后台服务器多的环境。服务器回应包不需要原路返回,可以直接给客户端发回应信息。

LVS-DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是经LVS算法挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变。Director和各RS都配置有相同VIP。

LVS-DR实现有以下六点注意事项

(1)确保前端路由器将目标IP为VIP的请求报文发往Director(注意,RS上也有相同的VIP),然后再由Director决定发往哪一台的RS(Director上有同一VIP绑定了不同RS的MAC,如果RS网卡变更,这里VIP和MAC的绑定关系也要相应变更)

此时Director会将目标MAC改为RS-MAC,同时目的IP还是VIP

以下三个方法保证将目标IP为VIP的请求报文发往Director

1.1)在前端网关做静态绑定VIP和Director的MAC地址

1.2)在RS上使用arptables工具

arptables -A IN -d $VIP -j DROP

arptables -A OUT -s $VIP -j mangle --mangle-ip -s $RIP

1.3)在RS上修改内核参数以限制arp通告及应答级别,关闭这两个参数,推荐用这个方法配置

arp_announce

arp_ignore

(2) RS的RIP可以使用私网地址,也可以是公网地址;RIP与

DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director。这一点和LVS-NAT有本质的区别。

(3) RS和Director要在同一个物理网络

(4)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client,这是所谓的不沿着原路返回,和LVS-NAT不一样。

(5)不支持端口映射(端口不能被修改)

(6) RS可使用大多数OS系统

LVS-DR体系结构

LVS  之  集群类型介绍_nat_03

DR模式IP包调度过程

LVS  之  集群类型介绍_lvs_04

3.3  LVS-TUN模式

lvs-tun一般要求是跨不同的网络,甚至RS和LVS可以在不同的城市,该技术主要用于VS和RS是异地的环境。

.lvs-tun:转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)

(1) DIP, VIP, RIP都应该是公网地址

(2) RS的网关不能,也不可能指向DIP

(3)请求报文要经由Director,但响应不能经由Director

(4)不支持端口映射

(5) RS的OS须支持隧道功能,因为RS收到报文后,要把数据包解开,这样才能识别被封装T-IP的数据报文

VS/TUN体系结构

LVS  之  集群类型介绍_lvs_05

TUN模式IP包调度过程

LVS  之  集群类型介绍_nat_06

其中,T-IP为以下的格式

LVS  之  集群类型介绍_lvs_07

3.4  LVS-FULLNAT模式

lvs-fullnat此类型kernel默认不支持,该模式一般不用于生产,默认LVS支持前面三个模式。lvs-fullnat是一个特殊的模式,比较少公司使用,已知有淘宝公司目前有用这个模式。

.lvs-fullnat:通过同时修改请求报文的源IP地址和目标IP地址进行转发

CIP --> DIP

VIP --> RIP

(1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP

(2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client

(3)请求和响应报文都经由Director

(4)支持端口映射

lvs-fullnat包的简易转换图如下

LVS  之  集群类型介绍_nat_08


4  LVS工作模式总结

.lvs-nat与lvs-fullnat:请求和响应报文都经由Director

lvs-nat:RIP的网关要指向DIP

lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信

lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client

lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发

lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信