LNMP+SSL+LVS-DR+ipvsadm+LVS Persistence实现同一种服务的不同端口定向到同一台realserver

说明:本实验是在VMware虚拟机中实现:

共需三个虚拟linux主机,三台虚拟linux主机的网卡模式都为桥接,

本文以web服务的httphttps为例

三台虚拟主机分别为:directorRS1RS2,其中RS1RS2realserver

director:     dip   eth0      172.16.22.1

vip   eth0:1   172.16.22.2

RS1         rip   eth0      172.16.22.10     网关:172.16.0.1

vip   lo:0      172.16.22.2       子网掩码:255.255.255.255

RS2         rip   eth0     172.16.22.11     网关:172.16.0.1

vip   lo:0      172.16.22.2       255.255.255.255

确保windows的防火墙以及虚拟机里的linux防火墙完全关闭

图示如下:

前提:RS1RS2已经搭建好LNMP平台,具体实施细节请看:

http://lihuan.blog.51cto.com/4391550/809395

这里不再赘述。

实现过程:

1.director上安装ipvsadm,开启转发功能并配置好ip地址

  1. # grep –i  “vs” /boot/config-2.8.18-164.e15 
  2. # yum install ipvsadm –y 
  3. # rpm –ql ipvsadm 
  4. # sysctl –w net.ipv4.ip_forward=1 
  5. setenforce=0 
  6. # ifconfig eth0 172.16.22.1 255.255.0.0 
  7. # ifconfig eth0:1 172.16.22.2 broadcast 172.16.22.2 netmask 255.255.255.255 up 
  8. # route –add –host 172.16.22.2 dev eth0:1 

2.RS1上配置IParp规则:

  1. # ifconfig eth0 172.16.22.10 255.255.0.0 
  2. # ifconfig lo down 
  3. # ifconfig lo up 
  4. # echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 
  5. # echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
  6. # echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
  7. # echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
  8. # ifconfig lo:0 172.16.22.2 broadcast 172.16.22.2 netmask 255.255.255.255 up 
  9. # route add –host 172.16.22.2 dev lo:0 
  10. #echo 
  11. “rs1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111” > /var/www/html/index.html 
  12. setenforce=0 
  13. # service httpd restart 
  14. # elinks -dump http://172.16.22.10 

此时说明本机可以正常访问web服务了。

3.RS2上配置IParp规则:

  1. # ifconfig eth0 172.16.22.11 255.255.0.0 
  2. # ifconfig lo down 
  3. # ifconfig lo up 
  4. # echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 
  5. # echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
  6. # echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
  7. # echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
  8. # ifconfig lo:0 172.16.22.2 broadcast 172.16.22.2 netmask 255.255.255.255 up 
  9. # route add –host 172.16.22.2 dev lo:0 
  10. #echo 
  11. “rs2222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222222” > /var/www/html/index.html 
  12. setenforce=0 
  13. # service httpd restart 
  14. # elinks -dump http://172.16.22.11 

此时说明本机可以正常访问web服务了。

4.RS1RS2准备证书文件与私钥文件

(1).RS1上:

# cd /etc/pki/tls

# vim openssl.cnf

[ CA_default ]

dir           = ../../CA            # Where everything is kept

把上面”=../../CA”改为”=/etc/pki/CA”

  1. # cd .. 
  2. # cd CA 
  3. # mkdir certs crl newcerts 
  4. # touch index.txt 
  5. # echo 01 > serial 
  6. # echo 01 > crlnumber 
  7. # (umask 077;openssl genrsa 2048 > private/cakey.pem)   #生成CA自己的私钥 
  8. # openssl req –new –x509 –key private/cakey.pem –out cacert.pem –days 3650 

依次输入”CNHenanZZMTech   这是CA为自己签发证书

  1. # mkdir /etc/nginx/ssl 
  2. # cd /etc/nginx/ssl 
  3. # (umask 077;openssl genrsa 1024 > nginx.key)   #生成nginx自己的私钥 
  4. # openssl req –new –key nginx.key –out nginx.csr  

依次输入”CNHenanZZMTech   ,这是生成nginx的证书签发请求

# openssl ca –in nginx.csr –out nginx.crt  #CAnginx颁发证书

(2).RS2上:

  1. # mkdir /etc/nginx/ssl 
  2. # cd /etc/nginx/ssl 
  3. # (umask 077;openssl genrsa 1024 > nginx.key)   #生成nginx自己的私钥 
  4. # openssl req –new –key nginx.key –out nginx.csr  

依次输入”CNHenanZZMTech   ,这是生成nginx的证书签发请求

# scp nginx.csr root@172.16.22.10:/root  #此时需要输入RS1root用户的密码

RS2nginx的证书签发请求拷贝到RS1,RS1CA签发证书

RS1上:

# cd

# openssl ca –in nginx.csr –out nginx.crt  #CAnginx颁发证书

# scp nginx.crt root@172.16.22.11:/etc/nginx/ssl  #此时需要输入RS2root用户的密码

5.更改RS1RS2nginx配置文件,以支持https协议

RS1上:

# vim /etc/nginx/nginx.conf

修改:

# HTTPS server

    #

    #server {

    #    listen       443;

    #    server_name  localhost;

 

    #    ssl                  on;

    #    ssl_certificate      cert.pem;

    #    ssl_certificate_key  cert.key;

 

    #    ssl_session_timeout  5m;

 

    #    ssl_protocols  SSLv2 SSLv3 TLSv1;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;

    #    ssl_prefer_server_ciphers   on;

 

    #    location / {

    #        root   html;

    #        index  index.html index.htm;

    #    }

#}为:

# HTTPS server

    #

    server {

        listen       443;

        server_name  www.lihuan.com;

 

        ssl                  on;

        ssl_certificate      cert.pem;

        ssl_certificate_key  cert.key;

 

        ssl_session_timeout  5m;

 

        ssl_protocols  SSLv2 SSLv3 TLSv1;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;

    #    ssl_prefer_server_ciphers   on;

 

        location / {

            root   html;

            index  index.html index.htm;

        }

    }

说明:RS2上修改配置文件支持https协议的方法同RS1,这里不再赘述。

 

6.director上定义ipvsadm规则与持久防火墙标记,以实现同一个服务的不同端口定向到同一台realserver

# iptables –t mangle –A PREROUTING –i eth0 –p tcp –d 172.16.22.2 –dport 80 –j MARK –set-mark 20 

# iptables –t mangle –A PREROUTING –i eth0 –p tcp –d 172.16.22.2 –dport 443 –j MARK –set-mark 20 

# ipvsadm –A –f 20 –s wlc –p 2000

# ipvsadm –a –f 20 –r 172.16.22.10 –g –w 5

# ipvsadm –a –f 20 –r 172.16.22.11 –g –w 4

说明:上面几条语句中绿色的字体的范围可以是0-99的任意整数,此处选为20,一旦选为20,这几条语句必须都是用20才能保证同一服务的不同端口定向到同一台realserver

 

7.测试

前提:把RS1上的CA证书导入到windows物理机的浏览器中。

在浏览器输入:

http://172.16.22.2,出现:

然后再输入https://172.16.22.2,出现:

此时发现httphttps的结果是一样的,说明同一服务的的不同端口定向到

同一台realserver中(有可能是RS1或者RS2,这个是不确定的)