Lvs负载均衡的配置 

作者:china_Linux_hy


rhel6 自带 LVS 软件包 安装 ipvsadm 软件包即可使用

yum install ipvsadm -y(注意这里需要先配置yum源


三种 IP 负载均衡技术的优缺点归纳在下表中:


注:以上三种方法所能支持最大服务器数目的估计是假设调度器使用 100M 网卡,调度器的硬件配置与后端服务器的硬件配置相同,而且是对一般 Web 服 务。使用更高的硬件配置(如千兆网卡和更快的处理器)作为调度器,调度器所能调度的服务器数量会相应增加。当应用不同时,服务器的数目也会相应地改变。所 以,以上数据估计主要是为三种方法的伸缩性进行量化比较。


这里我在做的时候用了三台主机:

vm1    192.168.1.120    Load Balance    eth0
vm1    192.168.1.188    Load Balance    vip
vm2    192.168.1.121    realserver
vm3    192.168.1.122    realserver


1.LVS-DR 模式(调度器与实际服务器都有一块网卡连在同一物理网段上)

简要的网络结构如下所示


配置LVS server

lvs_dr.sh

点击(此处)折叠或打开


1. #!/bin/sh
2. VIP=192.168.1.188
3. RIP1=192.168.1.121
4. RIP2=192.168.1.122
5. . /etc/rc.d/init.d/functions
6. case "$1" in
7. start)
8. echo "start LVS of DirectorServer"
9. #Set the Virtual IP Address
10. /sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up
11. /sbin/route add -host $VIP dev eth0:1
12. #Clear IPVS Table
13. /sbin/ipvsadm -C
14. #Set Lvs
15. /sbin/ipvsadm -A -t $VIP:80 -s rr
16. /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
17. /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
18. #Run Lvs
19. /sbin/ipvsadm
20. ;;
21. stop)
22. echo "close LVS Directorserver"
23. /sbin/ipvsadm -C
24. /sbin/ifconfig eth0:1 down
25. ;;
26. *)
27. echo "Usage: $0 {start|stop}"
28. exit 1
29. esac

配置 RIP server
realserver.sh

点击(此处)折叠或打开


1. #!/bin/bash
2. VIP=192.168.1.188
3. LOCAL_Name=50bang
4. BROADCAST=192.168.1.255 #vip's broadcast
5. . /etc/rc.d/init.d/functions
6. case "$1" in
7. start)
8. echo "reparing for Real Server"
9. echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
10. echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
11. echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
12. echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
13. ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $BROADCAST up
14. /sbin/route add -host $VIP dev lo:0
15. ;;
16. stop)
17. ifconfig lo:0 down
18. echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
19. echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
20. echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
21. echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
22. ;;
23. *)
24. echo "Usage: lvs {start|stop}"
25. exit 1
26. esac

我们在浏览器端输入:192.168.1.188每次刷新显示结果都会变,如下证明我们配置正确:


2.LVS-TUN 模式

简要的网络架构如下:


配置lvs server

lvs_tun.sh

点击(此处)折叠或打开


1. #!/bin/sh
2. # description: start LVS of Directorserver
3. VIP=192.168.1.188(注意,lvs server那台机器2个ip,一个是vip,一个是本身ip例如192.168.1.120)
4. RIP1=192.168.1.121
5. RIP2=192.168.1.122
6. #RIPn=192.168.0.n
7. GW=192.168.1.1
8. . /etc/rc.d/init.d/functions
9. case "$1" in
10. start)
11. echo " start LVS of DirectorServer"
12. # set the Virtual IP Address
13. /sbin/ifconfig tunl0 $VIP broadcast $VIP netmask 255.255.255.0 up
14. /sbin/route add -host $VIP dev tunl0
15. #Clear IPVS table
16. /sbin/ipvsadm -C
17. #set LVS
18. /sbin/ipvsadm -A -t $VIP:80 -s rr
19. /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -i
20. /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -i
21. #/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -i
22. #Run LVS
23. /sbin/ipvsadm
24. #end
25. ;;
26. stop)
27. echo "close LVS Directorserver"
28. ifconfig tunl0 down
29. /sbin/ipvsadm -C
30. ;;
31. *)
32. echo "Usage: $0 {start|stop}"
33. exit 1
34. esac

配置real server
realserver.sh

点击(此处)折叠或打开


1. #!/bin/sh
2. # description: Config realserver tunl port and apply arp patch
3. VIP=192.168.1.188
4. . /etc/rc.d/init.d/functions
5. case "$1" in
6. start)
7. echo "Tunl port starting"
8. ifconfig tunl0 $VIP netmask 255.255.255.0 broadcast $VIP up
9. /sbin/route add -host $VIP dev tunl0
10. echo "1" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore
11. echo "2" >/proc/sys/net/ipv4/conf/tunl0/arp_announce
12. echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
13. echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
14. sysctl -p
15. ;;
16. stop)
17. echo "Tunl port closing"
18. ifconfig tunl0 down
19. echo 1 > /proc/sys/net/ipv4/ip_forward
20. echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
21. ;;
22. *)
23. echo "Usage: $0 {start|stop}"
24. exit 1
25. esac


3.LVS-NAT 模式

简要的网络架构如下图:


配置LVS server

lvs_nat.sh

点击(此处)折叠或打开


1. #!/bin/sh
2. # description: start LVS of Nat
3. VLAN-IP=192.168.1.188
4. RIP1=10.1.1.2
5. RIP2=10.1.1.3
6. #RIPn=10.1.1.n
7. GW=10.1.1.1
8. . /etc/rc.d/init.d/functions
9. case "$1" in
10. start)
11. echo " start LVS of NAtServer"
12. echo "1" >/proc/sys/net/ipv4/ip_forward
13. echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects
14. echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects
15. echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects
16. echo "0" >/proc/sys/net/ipv4/conf/eth1/send_redirects(内网卡上的)
17. #Clear IPVS table
18. /sbin/ipvsadm -C
19. #set LVS
20. /sbin/ipvsadm -a -t $VLAN-IP:80 -r $RIP1:80 -m -w 1
21. /sbin/ipvsadm -a -t $VLAN-IP:80 -r $RIP2:80 -m -w 1
22. #Run LVS
23. /sbin/ipvsadm
24. #end
25. ;;
26. stop)
27. echo "close LVS Nat server"
28. echo "0" >/proc/sys/net/ipv4/ip_forward
29. echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects
30. echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects
31. echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects
32. echo "1" >/proc/sys/net/ipv4/conf/eth1/send_redirects(内网卡上的)
33. /sbin/ipvsadm -C
34. ;;
35. *)
36. echo "Usage: $0 {start|stop}"
37. exit 1
38. esac

配置real server LVS-Nat 模式的后端机器不需要配置.
测试的时候我们在real server里面设置一个发布页面进行测试
echo `hostname` >/var/www/html/index.html
然后就可以进行测试了!

tips: -g 表示使用DR方式,-m表示NAT方式,-i表示tunneling方式。
LVS 三种工作模式的优缺点比较:
一、Virtual server via NAT(VS-NAT)


优点:集群中的物理服务器可以使用任何支持TCP/IP操作系统,物理服务器可以分配Internet的保留私有地址,只有负载均衡器需要一个合法的IP地址。

缺点:扩展性有限。当服务器节点(普通PC服务器)数据增长到20个或更多时,负载均衡器将成为整个系统的瓶颈,因为所有的请求包和应答包都需要经过负载均衡器再生。假使TCP包的平均长度是536字节的话,平均包再生延迟时间大约为60us(在Pentium处理器上计算的,采用更快的处理器将使得这个延迟时间变短),负载均衡器的最大容许能力为8.93M/s,假定每台物理服务器的平台容许能力为400K/s来计算,负责均衡器能为22台物理服务器计算。

解决办法:即使是是负载均衡器成为整个系统的瓶颈,如果是这样也有两种方法来解决它。一种是混合处理,另一种是采用Virtual Server via IP tunneling或Virtual Server via direct routing。如果采用混合处理的方法,将需要许多同属单一的RR DNS域。你采用Virtual Server via IP tunneling或Virtual Server via direct routing以获得更好的可扩展性。也可以嵌套使用负载均衡器,在最前端的是VS-Tunneling或VS-Drouting的负载均衡器,然后后面采用VS-NAT的负载均衡器。二、Virtual server via IP tunneling(VS-TUN)

我们发现,许多Internet服务(例如WEB服务器)的请求包很短小,而应答包通常很大。

优点:负载均衡器只负责将请求包分发给物理服务器,而物理服务器将应答包直接发给用户。所以,负载均衡器能处理很巨大的请求量,这种方式,一台负载均衡能为超过100台的物理服务器服务,负载均衡器不再是系统的瓶颈。使用VS-TUN方式,如果你的负载均衡器拥有100M的全双工网卡的话,就能使得整个Virtual Server能达到1G的吞吐量。

不足:但是,这种方式需要所有的服务器支持"IP Tunneling"(IP Encapsulation)协议,我仅在Linux系统上实现了这个,如果你能让其它操作系统支持,还在探索之中。三、Virtual Server via Direct Routing(VS-DR)

优点:和VS-TUN一样,负载均衡器也只是分发请求,应答包通过单独的路由方法返回给客户端。与VS-TUN相比,VS-DR这种实现方式不需要隧道结构,因此可以使用大多数操作系统做为物理服务器,其中包括:Linux 2.0.36、2.2.9、2.2.10、2.2.12;Solaris 2.5.1、2.6、2.7;FreeBSD 3.1、3.2、3.3;NT4.0无需打补丁;IRIX 6.5;HPUX11等。

不足:要求负载均衡器的网卡必须与物理网卡在一个物理段上



转载于:https://blog.51cto.com/sleeper/1655571