LVS
lvs
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一；
lvs的几种模型：
1、NAT模型；
特性：
1、real server中的各服务器rip地址应该使用私有地址，有效隐藏内部服务器；
2、real server中各服务器的网关必须指向dip。rip和dip必须在同一网段内，保证流量经过Director；
3、请求和响应的报文都得经过Directory（SNAT+DNAT）；
4、在高负载应用场景中，Directory很可能成为系统性能瓶颈；
5、支持DNAT的端口映射。将80映射到real server中的8080；
6、real server中的各服务器可以使用任意支持集群服务的OS（系统）；
注意：该类型适合并发和请求数量不高的场景中；
2、DR模型；
特性：
1、real server可以使用私有地址，但也可以使用公网地址，此时可以直接通过互联网连入real server以实现配置、监控等；
2、real server的网关一定不能指向DIP；
3、real server跟Directory要在同一物理网络内（不能由路由器分离）；
4、请求报文经过Directory，但响应报文一定不经过Directory；
5、不支持端口映射；
6、real server可以使用大多数的操作系统；
3、TUN模型；
特性：
1、rip、dip、vip都得是公网地址；
2、real server的网关不能指向也不可能指向dip；
3、请求报文经过Directory，但响应报文一定不经过Directory；
4、不支持端口映射；
5、real server的系统必须得支持隧道功能；
4、FULLNAT模型；
特性：
fullnat：在nat模型的基础上，在Directory上将请求的报文（cip+vip），改成（dip+rip）。这样，当real server收到后，将回包的报文为rip+dip，然后再由Directory将报文再次改变成vip+cip即可。保证回程报文经过Directory。
主要由Directory将报文实施转换动作；
优点：Directory和real server可以跨不同的vlan部署。可以不在一个网段；
LVS的10种调度方法：
静态调度：
rr算法：Round Robin，轮询。轮询real server中的服务器。最简单、易实现；
wrr算法：Weighted RR，加权轮询。根据real server的权重比例去调度不同权重的服务器。高权重的被调度的次数就多；
sh算法：source hashing，源地址hash。来自同一源ip的请求都发往固定的服务器上去。主要目的是为了实现session绑定的；
dh算法：destination hashing，目的地址hash。去往同一目标的客户端请求会话被固定在一个响应服务器上；
缺陷：不会考虑后台real server的负载情况，是不是很忙，只知道根据算法去轮询。比较“傻”；
动态调度：
lc算法：Least connection，最小连接。根据服务器的链接数来进行判断和执行调度；
公式：Overhead=Action*256+Inactive 负载=（活动链接数*256+非活动链接数）
计算结果中，最小者胜出成为被调度者。如果值一样，则执行轮询；
wlc算法：Weighted LC，权重的最小连接。在最小连接的基础上增加权重；
公式：Overhead=（action*256+非活动链接数）/weight（权重）
计算结果越小者胜出，被执行调度。如果值一样，则之上而下进行轮询；
缺点：可能性能差的服务器刚好被轮询了，而性能好的服务器反而没轮询到；
sed算法：Shortest Expect Delay，最短期望延迟。防止挑到性能最差的服务器进行相应。改进版的wlc；
计算结果越小者胜出，被执行调度。永远是权重大的服务器排在最前面被轮询到；
公式：overhead=（active+1）*256/weight ，不考虑非活动连接数；
nq算法：Nerver Queue，永不排队。改进了的sed。刚开局之后，所有服务器首先根据sed算法轮询一遍，（第一个请求给权重最大的，第二个、第三个...依次排下去，排一遍）。然后再根据sed算法再重新计算调度；
lblc算法：Locality-based least conection，基于本地的最小连接。相当于dh+lc。用的不多；
lblcr算法：Replicated and Locality-based least connection，带复制的基于本地的最小连接。用在后端服务器是cache服务器上。用的不多；
宗旨：无论使用lvs的哪种调度类型，都可以自由的选择调度方法，将用户请求调度至后端real server。类型和方法可混用；
缺陷：LVS是无法检测后端real server的健康状况的；
LVS的NAT模型的实验：
拓扑：
环境：
web1：192.168.12.11
web2：192.168.12.12
directory：
内网ip：192.168.12.1
外网ip：192.168.57.136
用户ip：192.168.57.155
web服务器，基于apache服务器搭建；
direcotry，基于lvs；
在web1上：
[root@localhost ~]# ifconfig
eth1 Link encap:Ethernet HWaddr 00:0C:29:34:DA:E2
inet addr:192.168.12.11 Bcast:192.168.12.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe34:dae2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:4173 errors:0 dropped:0 overruns:0 frame:0
TX packets:3474 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:380871 (371.9 KiB) TX bytes:448376 (437.8 KiB)
在web2上：
[root@localhost ~]# ifconfig
eth1 Link encap:Ethernet HWaddr 00:0C:29:03:A5:B7
inet addr:192.168.12.12 Bcast:192.168.12.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe03:a5b7/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:5181 errors:0 dropped:0 overruns:0 frame:0
TX packets:2500 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:523926 (511.6 KiB) TX bytes:268639 (262.3 KiB)
在directory上：
[root@localhost ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:B2:B7:26
inet addr:192.168.57.136 Bcast:192.168.57.255 Mask:255.255.255.128
inet6 addr: fe80::20c:29ff:feb2:b726/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:2928 errors:0 dropped:0 overruns:0 frame:0
TX packets:451 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:632507 (617.6 KiB) TX bytes:42962 (41.9 KiB)
eth1 Link encap:Ethernet HWaddr 00:0C:29:B2:B7:30
inet addr:192.168.12.1 Bcast:192.168.12.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:b730/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:928 errors:0 dropped:0 overruns:0 frame:0
TX packets:906 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:79442 (77.5 KiB) TX bytes:87637 (85.5 KiB)
在web1上：
[root@localhost ~]# cat /var/www/html/index.html
<h1>192.168.12.11-web1</h1>
[root@localhost ~]#
在web2上：
[root@localhost ~]# cat /var/www/html/index.html
<h1>192.168.12.12-web2</h1>
[root@localhost ~]#
在directory上：
[root@localhost ~]# yum -y install ipvsadm
[root@localhost ~]# ipvsadm -A -t 192.168.57.136:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.57.136:80 -r 192.168.12.11 -m
[root@localhost ~]# ipvsadm -a -t 192.168.57.136:80 -r 192.168.12.12 -m
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.57.136:80 rr
-> 192.168.12.11:80 Masq 1 0 0
-> 192.168.12.12:80 Masq 1 0 0
在windwos客户端上：（验证。不断的刷新，会轮训显示web1和web2）
在web1上：
[root@localhost ~]# tail -f /var/log/httpd/access_log
192.168.57.177 - - [08/Jul/2015:19:18:26 +0800] "GET / HTTP/1.1" 200 28 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko LBBROWSER"
在web2上：
[root@localhost ~]# tail -f /var/log/httpd/access_log
192.168.57.177 - - [08/Jul/2015:19:18:25 +0800] "GET / HTTP/1.1" 200 28 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko LBBROWSER"
ok，rr的负载均衡的轮询模式就这样完成了；
LVS的DR模型的实验：
拓扑：
环境：
web1：192.168.12.11
虚拟ip：192.168.12.100
web2：192.168.12.12
虚拟ip：192.168.12.100
directory：
内网ip：192.168.12.1
虚拟ip：192.168.12.100（用户直接访问的ip）
用户ip：192.168.12.10
web服务器：基于apache服务器搭建；
direcotry：基于lvs；
实际生产环境中，要求虚拟ip必须是公网ip，且能够被直接路由到用户端的；
web服务器的ip地址也是公网ip地址，且能被直接路由；
注意:这里只是为了测试效果，ip地址没有区分内网或者公网；
1、基础配置：
在directory上：
[root@localhost ~]# ifconfig
eth1 Link encap:Ethernet HWaddr 00:0C:29:B2:B7:30
inet addr:192.168.12.1 Bcast:192.168.12.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:feb2:b730/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:5499 errors:0 dropped:0 overruns:0 frame:0
TX packets:3875 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:486888 (475.4 KiB) TX bytes:470006 (458.9 KiB)
在web1上：
[root@localhost ~]# ifconfig
eth1 Link encap:Ethernet HWaddr 00:0C:29:34:DA:E2
inet addr:192.168.12.11 Bcast:192.168.12.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe34:dae2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:3112 errors:0 dropped:0 overruns:0 frame:0
TX packets:1949 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:281203 (274.6 KiB) TX bytes:242480 (236.7 KiB)
在web2上：
[root@localhost ~]# ifconfig
eth1 Link encap:Ethernet HWaddr 00:0C:29:03:A5:B7
inet addr:192.168.12.12 Bcast:192.168.12.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe03:a5b7/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:2897 errors:0 dropped:0 overruns:0 frame:0
TX packets:1892 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:265958 (259.7 KiB) TX bytes:215427 (210.3 KiB)
注意：web服务器在配置ip地址时，网关地址不能指向directory上，不然相应数据包会经过directory进行转发，这是我们不想看到的！！！
2、配置虚拟ip地址和路由：
在directory上：
[root@localhost ~]# ifconfig eth1:0 192.168.12.100 netmask 255.255.255.255 broadcast 192.168.12.100
[root@localhost ~]# route add -host 192.168.12.100 dev eth1:0
[root@localhost ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.12.100 0.0.0.0 255.255.255.255 UH 0 0 0 eth1
192.168.12.0 0.0.0.0 255.255.255.0 U 0 0 0 eth1
169.254.0.0 0.0.0.0 255.255.0.0 U 1003 0 0 eth1
在web1上：
[root@localhost ~]# ifconfig lo:0 192.168.12.100 netmask 255.255.255.255 broadcast 192.168.12.100
[root@localhost ~]# route add -host 192.168.12.100 dev lo:0
[root@localhost ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.12.100 0.0.0.0 255.255.255.255 UH 0 0 0 lo
192.168.12.0 0.0.0.0 255.255.255.0 U 0 0 0 eth1
169.254.0.0 0.0.0.0 255.255.0.0 U 1002 0 0 eth1
在web2上：
[root@localhost ~]# ifconfig lo:0 192.168.12.100 netmask 255.255.255.255 broadcast 192.168.12.100
[root@localhost ~]# route add -host 192.168.12.100 dev lo:0
[root@localhost ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.12.100 0.0.0.0 255.255.255.255 UH 0 0 0 lo
192.168.12.0 0.0.0.0 255.255.255.0 U 0 0 0 eth1
169.254.0.0 0.0.0.0 255.255.0.0 U 1002 0 0 eth1
ok，三个节点上都要配置虚拟ip地址及路由；
注意：虚拟ip地址的掩码必须是“255.255.255.255”的！！！
3、配置web服务器内核参数。
（防止虚拟ip地址所在网卡主动外网通告mac地址，防止虚拟ip地址所在网卡主动响应请求。如果不这样做，会导致三个节点上的虚拟ip地址冲突。因此，只能限制web服务器上的虚拟ip地址，而不是directory上的）
在web1和web2上：
[root@localhost conf]# pwd
/proc/sys/net/ipv4/conf
[root@localhost conf]# echo 1 > all/arp_ignore
[root@localhost conf]# echo 1 > eth1/arp_ignore
[root@localhost conf]# echo 2 > eth1/arp_announce
[root@localhost conf]# echo 2 > all/arp_announce
注意：这里为了防止出现意外，我们对所有网卡和物理网卡都进行了通告和响应限制；
ipvs规则的创建：
在direcroty上：
[root@localhost ~]# ipvsadm -A -t 192.168.12.100:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.12.100:80 -r 192.168.12.11 -g
[root@localhost ~]# ipvsadm -a -t 192.168.12.100:80 -r 192.168.12.12 -g
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.12.100:80 rr
-> 192.168.12.11:80 Route 1 0 0
-> 192.168.12.12:80 Route 1 0 0
注意：这里因为是DR模型，所以必须是“-g”选项。任然采用均衡的轮询方式处理请求；
ok，lvs的DR模型的rr算法调度至此配置完毕；
4、测试：
在windows客户机上：（不断的刷新会出现轮训的现象）
在direcotry上：
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.12.100:80 rr
-> 192.168.12.11:80 Route 1 0 16
-> 192.168.12.12:80 Route 1 0 16
：可以看到两台服务器响应连接是均衡的；
ok，实验成功！
