本节索引
Ipvsadm工具介绍
Web服务的负载均衡
实现http与https的同时调度
1 ipvsadm工具
我们知道LVS项目已提供了一个实现可伸缩网络服务的Linux Virtual Server框架。在LVS框架中，提供了含有三种"IP负载均衡技术"的IP虚拟服务器软件"IPVS"、"基于内容请求分发的内核Layer-7交 换机KTCPVS"和"集群管理软件"。这里主要说说”IP负载均衡技术”他的管理工具就是ipvsadm。
1）ipvsadm语法
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [-b sched-flags] ipvsadm -D -t|u|f service-address ipvsadm -C ipvsadm -R ipvsadm -S [-n] ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight] [-x upper] [-y lower] ipvsadm -d -t|u|f service-address -r server-address ipvsadm -L|l [options] ipvsadm -Z [-t|u|f service-address] ipvsadm --set tcp tcpfin udp ipvsadm --start-daemon state [--mcast-interface interface] [--syncid syncid] ipvsadm --stop-daemon state ipvsadm -h
2）Ipvsadm选项介绍
| 选项 | 说明 |
| -A (--add-service) | 在内核的虚拟服务器列表中添加一条新的虚拟IP记录。也就是增加一台新的虚拟服务器。虚拟IP也就是虚拟服务器的IP地址。 |
| -E (--edit-service) | 编辑内核虚拟服务器列表中的一条虚拟服务器记录 |
| -D (--delete-service) | 删除内核虚拟服务器列表中的一条虚拟服务器记录 |
| -C (--clear) | 清除内核虚拟服务器列表中的所有规则 |
| -R (--restore) | 恢复虚拟服务器规则 |
| -S (--save) | 保存虚拟服务器规则，输出为-R 选项可读的格式 |
| -a (--add-server) | 在内核虚拟服务器列表的一条记录里添加一条新的Real Server记录。也就是在一个虚拟服务器中增加一台新的Real Server |
| -e (--edit-server) | 编辑一条虚拟服务器记录中的某条Real Server记录 |
| -d (--delete-server) | 删除一条虚拟服务器记录中的某条Real Server记录 |
| -L|-l –list | 显示内核中虚拟服务器列 |
| -t | 说明虚拟服务器提供的是tcp服务，此选项后面跟如下格式：[virtual-service-address:port] or [real-server-ip:port] |
| -u | 说明虚拟服务器提供的是udp服务，此选项后面跟如下格式：[virtual-service-address:port] or [real-server-ip:port] |
| -f fwmar | 说明是经过iptables标记过的服务类型 |
| -s | 此选项后面跟LVS使用的调度算法；有这样几个选项：rr|wrr|lc|wlc|lblc|lblcr|dh|sh。默认的调度算法是： wlc |
| -p [timeout] | 在某个Real Server上持续的服务时间。也就是说来自同一个用户的多次请求，将被同一个Real Server处理。此参数一般用于有动态请求的操作中，timeout的默认值为360s（帮助文档写的是300s）。例如：-p 100，表示持续服务时间为00s。 |
| -r | 指定Real Server的IP地址，此选项后面跟如下格式：[real-server-ip:port] |
| -g (--gatewaying) | 指定LVS 的工作模式为直接路由模式（此模式是LVS 默认工作模式） |
| -i (-ipip) | 指定LVS 的工作模式为隧道模式 |
| -m (--masquerading) | 指定LVS 的工作模式为NAT模式 |
| -w (--weight) weight | 指定Real Server的权值 |
| -c (--connection) | 显示LVS目前的连接信息 例如：ipvsadm -L -c |
| -L --timeout | 显示“tcp tcpfin udp”的timeout值，如：ipvsadm -L --timeout |
| -L --daemon | 显示同步守护进程状态，例如：ipvsadm -L –daemon |
| -L --stats | 显示统计信息，例如：ipvsadm -L –stats |
| -L --rate | 显示速率信息，例如：ipvsadm -L --rate |
3）说明： 保存添加的虚拟ip记录和ipvsadm的规则可以使用service ipvsadm save，还可以用-S或--save。清除所有记录和规则除了使用-C，还以使用--clear。
2 web服务的负载均衡
1）实验准备：准备4台虚拟机
@@一台作为VS服务器
@@一台作为客户端
@@两台主机作为web服务器，当然了，不只是web服务器。这里只是为了实验方便，web服务最常见，
2）网络拓扑及地址规划
3）环境配置
为了实验能顺利实现，关闭防火墙和selinux；注意这只是实验环境中。
[root@vin ~]# iptables -F # 清空防火墙规则 [root@vin ~]# setenforce 0 # 临时禁用selinux [root@vin ~]#
4）web服务器配置
为了让我们看清楚LVS是如何调度的，我们特意将两台web服务器的index.html页面设置的不一样。
@@安装服务：
[root@vin ~]# yum install httpd -y [root@vin ~]# echo "Linux web1" > /var/www/html/index.html # 修改主页，web2的主页内容修改为Linux web2
@@设置路由：只留一个网卡并且将网关指向Director
[root@vin ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 192.168.14.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33 0.0.0.0 192.168.14.77 0.0.0.0 UG 0 0 0 ens33
5）VS调度器设置
@@ 安装ipvsadm工具
[root@vin ~]# yum install ipvsadm -y # yum安装，不过我已经安装了 Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile Package ipvsadm-1.27-7.el7.x86_64 already installed and latest version Nothing to do [root@vin ~]# mount /dev/sr0 /mnt # 挂载光盘 mount: /dev/sr0 is write-protected, mounting read-only [root@vin ~]# rpm -ivh /mnt/Packages/ipvsadm-1.27-7.el7.x86_64.rpm # rpm安装 [root@vin ~]#
@@ 开启核心转发功能
[root@vin ~]# echo 1 > /proc/sys/net/ipv4/ip_forword
@@ 定义集群服务
[root@vin ~]# ipvsadm -A -t 172.18.14.100:80 -s wrr [root@vin ~]# ipvsadm -a -t 172.18.14.100:80 -r 192.168.14.55 -m -w 3 # 定义web1的权重为3 [root@vin ~]# ipvsadm -a -t 172.18.14.100:80 -r 192.168.14.66 -m -w 1 # 定义web2的权重为1（默认也是1；可省略） [root@vin ~]# ipvsadm -Ln # 查看几区服务 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.18.14.100:80 wrr -> 192.168.14.55:80 Masq 3 0 0 -> 192.168.21.66:80 Masq 1 0 0
6）测试
在客户端使用for循环向VIP发起http访问请求
[root@vint ~]# for i in {1..10};do curl Linux web1
Linux web1
Linux web2
Linux web2
Linux web2
Linux web1
Linux web2
Linux web2
Linux web2
Linux web1
Linux web27）结果分析
观察访问结果，我们发现，LVS根据我们的算法WRR（加权轮询）及对应的权重（3,1）进行了调度。
3 实现http与https同时调度
方案一：同过添加两个集群服务，分别针对http和https的访问
1）原理剖析：
要实现http（上面我们已经实现了）与https的调度，我们第一步要做的就是：为两台服务提供CA证书，而且这两个服务器上的CA证书必须完全相同（可以采取先给一个授权，在复制到另外一台服务器上），这里我们可以使用Director作为根CA的颁发机构来颁发证书，也可以使用web服务器的自签名证书。然后我们在VS服务器上在添加一个用于https进行调度的集群服务，从而实现调度。
2）在web服务器上实现https服务
@@生成证书：这里就不在说怎么实现CA了，请参考博客：http://vinsent.blog.51cto.com/13116656/1964034
3）VS上添加集群服务
[root@vin ~]# ipvsadm -A -t 172.18.14.100:443 -s wrr [root@vin ~]# ipvsadm -a -t 172.18.14.100:443 -r 192.168.14.55 -m -w 3 # 定义web1的权重为3 [root@vin ~]# ipvsadm -a -t 172.18.14.100:443 -r 192.168.14.66 -m -w 1 # 定义web2的权重为1（默认也是1；可省略） [root@vin ~]# ipvsadm -Ln # 查看几个集群服务 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.18.14.100:80 wrr -> 192.168.14.55:80 Masq 3 0 0 -> 192.168.21.66:80 Masq 1 0 0 TCP 172.18.14.100:443 wrr -> 192.168.14.55:443 Masq 3 0 0 -> 192.168.21.66:443 Masq 1 0 0
4）测试
[root@vint ~]# for i in {1..10};do curl http://172.18.14.100；curl方案二：使用防火墙标记，实现http与https的统一调度。
1）明晰思路
上面实现了http与https通过LVS的调度分别按相应算法调度，但是他们的调度依然各是各的，我们怎么能让VS服务将http与https能够看成一个服务进行调度呢，此时我们想到了Netfilter中的MANGLE表，我们可以在防火墙上做策略，让访问我的https和http服务的请求给他们打上标记MARK，这样，在调度的时候，我们只需要根据MARK实现调度即可，至于他是究竟是http还是https我们便不在关心。
2）在VS上配置iptables规则
[root@vint ~]# iptables -F [root@vint ~]# iptables -F -t nat # 保证防墙上没有其他规则干扰；注意：这只是实验环境 [root@vint ~]# iptables -A -t mangle PREROUTING -p tcp -m multiport --dport 80,443 \ >-d 172.18.14.100 -j MARK --set-mark 10
3）设置LVS集群服务
由于我们将二者集合起来调度，在Director看来，http访问与https访问都是同一个服务，所以我们想清空原有的集群服务，在重新添加集群服务。
[root@vint ~]# ipvsadm -C [root@vint ~]# ipvsadm -Ln # 确保规则清除 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn [root@vint ~]# ipvsadm -Z # 清空计数器 [root@vin ~]# ipvsadm -A -t -f 10 -s wrr [root@vin ~]# ipvsadm -a -t -f -r 192.168.14.55 -m -w 3 # 定义web1的权重为3 [root@vin ~]# ipvsadm -a -t -f -r 192.168.14.66 -m -w 1 # 定义web2的权重为1（默认也是1；可省略）
4）测试
[root@vint ~]# for i in {1..10};do curl http://172.18.14.100；curl https://172.18.14.100;done笔者便签
感谢您能读到最后，如果这篇文章能让你有所收获，那将是我的荣幸，如果没能帮到你，那就在送你一句话，与君共勉：If a thing is worth doing it is worth worth doing well ---- 事情值得做，就值得好好做。
