Nginx之反向代理与负载均衡实现动静分离实战

 

什么是反向代理与负载均衡

Nginx仅仅作为Nginx  proxy反向代理使用的,因为这个反向代理功能表现的效果是负载均衡集群的效果。

负载均衡指的是对请求数据包的转发,从负载均衡下面的节点服务器来看,接收到的请求还是来自访问负载均衡器的客户端的真实用户,而反向代理服务器指的是接收到用户的请求后,会代理用户重新发起请求代理下的节点服务器,最后把数据返回给客户端用户,在节点服务器看来,范文的节点服务器的客户端用的就是反向代理服务器了,而非真实的网站访问用户。

Nginx负载均衡核心组件介绍

Nginx http功能模块

模块说明

ngx_nginx upstream

负载均和模块,可以实现网站的负载均衡功能及节点的健康检查

ngx_http_proxy_module

Proxy模块,用于把请求后抛给服务器节点或upstream服务器池

 

 

 

一、实验目标

实战1:配置基于域名虚拟主机的web节点

实战2:实现代理服务器携带主机头和记录用户IP

实战3:根据URL中的目录地址实现代理转发

实战4Nginx负载均衡检测节点状态

 

二、实验环境

主机名

IP地址

系统

作用

yu61

192.168.1.61

Rhel-6.5

nginx的主负载均衡器

yu62

192.168.1.62

Rhel-6.5

nginx的从负载均衡器

yu63

192.168.1.63

Rhel-6.5

Web1服务器

yu64

192.168.1.64

Rhel-6.5

Web2服务器

实验拓扑

wKiom1kuQ0SDsNqdAACjLLV5QIg520.png 

三、实验步骤

1Nginx的安装------四台主机都是怎么安装

[root@yu61 ~]#service httpd stop

[root@yu61 ~]#service iptables stop

[root@yu61 ~]#yum install pcre pcre-devel openssl openssl-devel -y

[root@yu61 ~]# mkdir -p /home/yu/tools

[root@yu61 ~]# cd /home/yu/tools/

[root@yu61 tools]# wget -q http://nginx.org/download/nginx-1.6.3.tar.gz

[root@yu61 tools]# ls

nginx-1.6.3.tar.gz

[root@yu61 tools]# useradd nginx -s /sbin/nologin -M

[root@yu61 tools]# tar xf nginx-1.6.3.tar.gz

[root@yu61 tools]# cd nginx-1.6.3

[root@yu61 nginx-1.6.3]# ./configure --user=nginx --group=nginx --prefix=/application/nginx-1.6.3 --with-http_stub_status_module --with-http_ssl_module

[root@yu61 nginx-1.6.3]#make -j 4 && make install

[root@yu61 nginx-1.6.3]# ln -s /application/nginx-1.6.3/ /application/nginx

 

 

Nginx负载均衡实战

实战1:配置基于域名虚拟主机的web节点

1、修改配置文件------在两台web服务器上修改

[root@yu61 nginx-1.6.3]# cd /application/nginx/conf/

[root@yu61 conf]# egrep -v '#|^$' nginx.conf.default > nginx.conf

[root@yu63 conf]# cat nginx.conf

worker_processes  1;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    keepalive_timeout  65;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                      '$status $body_bytes_sent "$http_referer" '

                      '"$http_user_agent" "$http_x_forwarded_for"';

    server {

        listen       80;

        server_name  bbs.mobanche.com;

        location / {

            root   html/bbs;

            index  index.html index.htm;

        }

access_log  logs/access.log  main;

        }

    }

    server {

        listen       80;

        server_name  www.mobanche.com;

        location / {

            root   html/www;

            index  index.html index.htm;

        }

access_log  logs/access.log  main;

        }

    }

}

 

2、检查语法和启动nginx服务----------四台主机都做

[root@yu61 conf]# mkdir /application/nginx/html/{www,bbs}

[root@yu61 conf]# /application/nginx/sbin/nginx -t

nginx: the configuration file /application/nginx-1.6.3/conf/nginx.conf syntax is ok

nginx: configuration file /application/nginx-1.6.3/conf/nginx.conf test is successful

[root@yu61 conf]# /application/nginx/sbin/nginx

[root@yu61 conf]# netstat -anutp | grep nginx

tcp        0      0 0.0.0.0:80                  0.0.0.0:*                   LISTEN      48817/nginx

 

3、添加可测试内容-------两台web主机都做,测试用可以只做一台

[root@yu63 conf]# echo '192.168.1.63 www' > ../html/www/index.html

[root@yu63 conf]# echo '192.168.1.63 bbs' > ../html/bbs/index.html

[root@yu63 conf]# cat /application/nginx/html/www/index.html

192.168.1.63 www

[root@yu63 conf]# cat /application/nginx/html/bbs/index.html

192.168.1.63 bbs

[root@yu64 conf]# echo '192.168.1.64 www' > ../html/www/index.html

[root@yu64 conf]# echo '192.168.1.64 bbs' > ../html/bbs/index.html

[root@yu64 conf]# cat /application/nginx/html/www/index.html

192.168.1.64 www

[root@yu64 conf]# cat /application/nginx/html/bbs/index.html

192.168.1.64 bbs

 

4、用curl测试web

[root@yu61 conf]# tail -2 /etc/hosts

192.168.1.63 bbs

192.168.1.63 www

[root@yu61 conf]# scp  /etc/hosts  /etc/hosts 192.168.1.63:/etc/hosts

[root@yu61 conf]# curl www.mobanche.com

192.168.1.63 www

[root@yu61 conf]# curl bbs.mobanche.com

192.168.1.63 bbs

 

实战2:实现代理服务器携带主机头和记录用户IP

1)Upstream模块的介绍

Nginx的负载均衡功能依赖于ngx_http_proxy_module模块,所支持代理方式包括proxy_pass(代理)、fastcgi_passPHP/JAVA)、memcache_pass(缓存)等。

ngx_http_proxy_module模块允许Nginx定义一组或度组节点服务器组,使用时可以通过pass_pass代理方式吧网站的请求发送到实现定义好ID对应upstream组的名字上。

负载均衡模块用于从upstream”指令定义的后端主机列表中选取一台主机。Nginx先使用负载均衡模块找到一台主机,再使用upstream模块实现与这台主机的交互

2)Upstream模块语法:

upstream www_server_pools #upstream是关键字必须要有,www_server_poolsupstream集群组的名字,可以自定义。

server 192.168.1.63:80 weight=1; #server是关键字,这是固定的,后面可以接域名或者ip地址,如果布置点端口,默认是80端口,weight是权重,数值越大被分配的请求越多,结尾是分号。

3)Upstream模块相关说明

Upstream模块的内容应放于http{}标签中,其默认调度算法是wrr,权重轮询。

Upstream模块内部server标签参数说明

Upstream模块内参数

参数说明

server 192.168.1.63

负载均衡后面的节点服务器配置,可以是ip或域名,如果端口号不写,默认端口是80,高并发情况下,ip可以换成域名,通过DNS做负载均衡。

weight=1

代表权重,默认值是1,权重数值越大表示接受的请求比例越大

max_fails=1

Nginx尝试连接后端主机失败的次数。这个数值是配合proxy_pass(代理)、fastcgi_passPHP/JAVA)、memcache_pass(缓存)三个参数使用的。当Nginx接受到后端服务器返回这三个参数定义的状态码时,会将这个请求转发给正常工作的后端服务器。

backup

热备,real server节点的高可用,当前面激活的RS都失败后会自动启用热备RS,这标志着买这个服务器作为备份服务器,若主服务区全部宕机了,就会转发他的请求,

fail_timeout=10s

max_fails定义的失败次数后,距离下次检查的时间间隔,默认是10秒。如果max_fails=5,他就检测5次,如果5此都是502,它就会根据fail_timeout的值,等待10秒后再去检查。只检查一次,如果持续502。在不重新加载Nginx配置的情况下,每隔10秒值检查一次。

down

这标志着服务器永远不可用,这个参数可以配合ip_hash使用。

4)upstream模块3种常用的调度算法方式
        Nginxupstream支持5种分配方式。其中,前三种为Nginx原生支持的分配方式,后两种为第三方支持的分配方式:
1)、rr轮询     
        轮询是upstream的默认分配方式,即每个请求按照时间顺序轮流分配到不同的后端服务器,如果某个后端服务器down掉后,能自动剔除。按照1:1轮询。
        upstream backend {
            server 192.168.1.101:88;
            server 192.168.1.102:88;
        }
2)、wrr轮询。       
        轮询的加强版,即可以指定轮询比率,weight和访问几率成正比,主要应用于后端服务器异质的场景下。
        upstream backend {
            server 192.168.1.101 weight=1;
            server 192.168.1.102 weight=2;
            server 192.168.1.103 weight=3;
        }
3)、ip_hash        
        每个请求按照访问ip(即Nginx的前置服务器或者客户端IP)的hash结果分配,这样每个访客会固定访问一个后端服务器,可以解决session一致问题。
        upstream backend {
            ip_hash;
            server 192.168.1.101:81;
            server 192.168.1.102:82;
            server 192.168.1.103:83;
        }

4)、fair        
        fair顾名思义,公平地按照后端服务器的响应时间(rt)来分配请求,响应时间短即rt小的后端服务器优先分配请求。
        upstream backend {
            server 192.168.1.101;
            server 192.168.1.102;
            fair;
        }
5)、url_hash
        ip_hash类似,但是按照访问urlhash结果来分配请求,使得每个url定向到同一个后端服务器,主要应用于后端服务器为缓存时的场景下。
        upstream backend {
            server 192.168.1.101;
            server 192.168.1.102;
            hash $request_uri;
            hash_method crc32;
        }
注意:

_method为使用的hash算法,需要注意的是:server语句中不能加weight等参数。后边两种目前作了解即可。

 

5)http proxy模块参数

http proxy模块参数

参数说明

proxy_set_header

允许重新定义或附加字段到传递到代理服务器的请求标头。 该值可以包含文本,变量及其组合。可实现让代理后端的服务器的节点获取到客户端用户的证书IP地址。

proxy_connect_timeout

指定一个连接到代理服务器的超时时间,单位为秒,需要注意的是这个时间最好不要超过75秒。

proxy_body_buffer_size

用于指定客户端请求缓冲区大小

proxy_send_timeout

表示代理后端服务器的数据回传时间,即在规定时间之内后端服务器必须传完所有的数据,否则,Nginx将断开这个链接

proxy_read_timeout

设置Nginx从代理的后端服务器获取信息的时间,表示链接建立成功后,Nginx等待后端服务器的响应时间,其实是Nginx以及进入后端的排队之中等候处理时间

Proxy_buffer_size

设置缓冲区的数量和大小,Nginx从代理的后端服务器获取的响应信息,会防止到缓冲区

Proxy_buffers

用于设置设置缓冲区的数量和大小,Nginx从代理的后端服务器获取响应信息,会防止到缓冲区

Proxy_busy_buffer_size

用于设置系统很忙时可以使用的peoxy_buffers大小,

Proxy_temp_file_write_size

指定peoxy缓存临时文件的大小

 

1、修改nginx主从服务器------两台负载均衡器主机都要修改

[root@yu61 conf]# cat nginx.conf

worker_processes  1;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    keepalive_timeout  65;

    upstream www_server_pools{

server 192.168.1.63:80 weight=1;

server 192.168.1.64:80 weight=1;

}

    server {

        listen       80;

        server_name  www.mobanche.com;

        location / {

proxy_pass http://www_server_pools;

        }

    }

}

2、测试负载均衡

[root@yu61 conf]# ../sbin/nginx -t

nginx: the configuration file /application/nginx-1.6.3/conf/nginx.conf syntax is ok

nginx: configuration file /application/nginx-1.6.3/conf/nginx.conf test is successful

[root@yu61 conf]# ../sbin/nginx -s reload

[root@yu61 conf]# cat /etc/hosts

192.168.1.61 www.mobanche.com

[root@yu61 conf]# curl www.mobanche.com

192.168.1.63 bbs

[root@yu61 conf]# curl www.mobanche.com

192.168.1.64 bbs

[root@yu61 conf]# curl www.mobanche.com

192.168.1.63 bbs

[root@yu61 conf]# curl www.mobanche.com

192.168.1.64 bbs

注释:

默认没有在请求头来告诉节点服务器找那台虚拟机主机,所以,web节点服务器接收到请求后发现没有主机头信息,因此,就把节点服务器的第一个虚拟机主机发给看反向代理了(二节点上的第一个虚拟主机放置的第一个是bbs),解决这个问题的办法,就是当反向代理想后重新发起请求时,要携带主机头信息,以明确的告诉节点服务器要找哪一个虚拟主机。

3、修改配置文件-添加代理服务器携带主机头文件配置

[root@yu61 conf]# cat nginx.conf

worker_processes  1;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    keepalive_timeout  65;

    upstream www_server_pools{

server 192.168.1.63:80 weight=1;

server 192.168.1.64:80 weight=1;

}

    server {

        listen       80;

        server_name  www.mobanche.com;

        location / {

proxy_pass http://www_server_pools;

proxy_set_header Host $host;

        }

    }

}

4、使用另外一个客户端测试

[root@yu61 conf]# curl www.mobanche.com

192.168.1.63 www

[root@yu61 conf]# curl www.mobanche.com

192.168.1.64 www

[root@yu62 ~]# curl www.mobanche.com

192.168.1.64 www

[root@yu62 ~]# curl www.mobanche.com

192.168.1.63 www

[root@yu61 conf]# tail -2 /application/nginx/logs/access.log

192.168.1.61 - - [18/May/2017:19:44:04 +0800] "GET / HTTP/1.1" 200 17 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.14.3.0 zlib/1.2.3 libidn/1.18 libssh2/1.4.2" "-"

192.168.1.61 - - [18/May/2017:19:44:05 +0800] "GET / HTTP/1.1" 200 17 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.14.3.0 zlib/1.2.3 libidn/1.18 libssh2/1.4.2" "-"

5、再次修改配置文件,添加代理服务器获取用户IP配置

[root@yu61 conf]# cat nginx.conf

worker_processes  1;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    keepalive_timeout  65;

    upstream www_server_pools{

server 192.168.1.63:80 weight=1;

server 192.168.1.64:80 weight=1;

}

    server {

        listen       80;

        server_name  www.mobanche.com;

        location / {

proxy_pass http://www_server_pools;

proxy_set_header Host $host;

proxy_set_header X-Forwarded-For $remote_addr;

        }

    }

}

 

用于查看的客户端需要开启log记录

wKioL1kuQ4aD4LKoAAA2SY50n2s080.png 

 

6、测试

[root@yu64 conf]# tail -2 /application/nginx/logs/access.log

192.168.1.61 - - [18/May/2017:19:56:19 +0800] "GET / HTTP/1.0" 200 17 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.14.3.0 zlib/1.2.3 libidn/1.18 libssh2/1.4.2" "192.168.1.62"

192.168.1.61 - - [18/May/2017:19:56:19 +0800] "GET / HTTP/1.0" 200 17 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.14.3.0 zlib/1.2.3 libidn/1.18 libssh2/1.4.2" "192.168.1.62"

 

实战3:根据URL中的目录地址实现代理转发

实验拓扑

wKiom1kuQ1XjtUMwAADrdzWRs40543.png 

 

1)当用户访问www.mobanche.com/upload/xxx的时候,代理服务器会吧请求分配到上传服务器池处理数据。

2)当用户访问www.mobanche.com/static/xxx的时候,代理服务器会吧请求分配到动态上传服务器池请求数据。

3)当用户访问www.mobanche.com//xxx的时候,不包含任何指定的目录地址路径时。代理服务器会把请求分配到默认的动态服务器池请求数据

1、修改配置文件,添加地址池

[root@yu61 conf]# cat nginx.conf

worker_processes  1;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    keepalive_timeout  65;

    upstream upload_pools{

server 192.168.1.63:80 weight=1;

}

    upstream static_pools{

server 192.168.1.64:80 weight=1;

}

    upstream default_pools{

server 192.168.1.62:80 weight=1;

}

    server {

        listen       80;

        server_name  www.mobanche.com;

        location / {

proxy_pass http://default_pools;

proxy_set_header Host $host;

proxy_set_header X-Forwarded-For $remote_addr;

        }

location /static/ {

proxy_pass http://static_pools;

proxy_set_header Host $host;

proxy_set_header X-Forwarded-For $remote_addr;

        }

        location /upload/ {

proxy_pass http://upload_pools;

proxy_set_header Host $host;

proxy_set_header X-Forwarded-For $remote_addr;

        }

    }

}

2、重启Nginx

[root@yu61 conf]# ../sbin/nginx -t

nginx: the configuration file /application/nginx-1.6.3/conf/nginx.conf syntax is ok

nginx: configuration file /application/nginx-1.6.3/conf/nginx.conf test is successful

[root@yu61 conf]# ../sbin/nginx -s reload

3、测试静态分离

[root@yu64 www]# cat /etc/hosts

192.168.1.64 bbs.mobanche.com

192.168.1.64 www.mobanche.com

[root@yu64 nginx]# cd html/www/

[root@yu64 www]# mkdir static

[root@yu64 www]# echo static_pools > static/index.html

[root@yu64 www]# curl http://www.mobanche.com/static/index.html

static_pools

 

[root@yu63 www]# cat /etc/hosts

192.168.1.63 bbs.mobanche.com

192.168.1.63 www.mobanche.com

[root@yu63 nginx]#  cd html/www/

[root@yu63 www]# mkdir upload

[root@yu63 www]# echo upload_pools > upload/index.html

[root@yu63 www]# curl http://www.mobanche.com/upload/index.html

upload_pools

 

[root@yu65 www]# cat /etc/hosts

192.168.1.65 bbs.mobanche.com

192.168.1.65 www.mobanche.com

[root@yu65 nginx]#  cd html/www/

[root@yu65 www]# echo default_pools > index.html

[root@yu65 www]# curl http://www.mobanche.com

default_pools

 

实战4:Nginx负载均衡检测节点状态

1、安装软件

[root@yu61 tools]# pwd

/home/yu/tools

[root@yu61 tools]# wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master

[root@yu61 tools]# unzip master

[root@yu61 tools]# cd nginx-1.6.3

[root@yu61 nginx-1.6.3]# patch -p1 < ../nginx_upstream_check_module-master/check_1.5.12+.patch

[root@yu61 nginx-1.6.3]# ./configure --user=nginx --group=nginx --prefix=/application/nginx-1.6.3 --with-http_stub_status_module --with-http_ssl_module --add-module=../nginx_upstream_check_module-master

--add-module=../nginx_upstream_check_module-master

[root@yu61 nginx-1.6.3]# make

[root@yu61 nginx-1.6.3]# mv /application/nginx/sbin/nginx{,.ori}

[root@yu61 nginx-1.6.3]# cp ./objs/nginx /application/nginx/sbin/

2、检测配置文件

[root@yu61 nginx-1.6.3]# /application/nginx/sbin/nginx -t

nginx: the configuration file /application/nginx-1.6.3/conf/nginx.conf syntax is ok

nginx: configuration file /application/nginx-1.6.3/conf/nginx.conf test is successful

[root@yu61 nginx-1.6.3]# /application/nginx/sbin/nginx -V

nginx version: nginx/1.6.3

built by gcc 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC)

TLS SNI support enabled

configure arguments: --user=nginx --group=nginx --prefix=/application/nginx-1.6.3 --with-http_stub_status_module --with-http_ssl_module --add-module=../nginx_upstream_check_module-master

check interval=3000 rise=2 fall=5 timeout=1000 type=http;

3、修改配置文件

[root@yu61 conf]# cat nginx.conf

worker_processes  1;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    keepalive_timeout  65;

    upstream static_pools{

server 192.168.1.64:80 weight=1;

server 192.168.1.63:80 weight=1;

check interval=3000 rise=2 fall=5 timeout=1000 type=http;

}

    upstream default_pools{

        server 192.168.1.62:80 weight=1;

        }

    server {

        listen       80;

        server_name  www.mobanche.com;

        location / {

root html;

    index  index.html index.htm

proxy_pass http://default_pools;

proxy_set_header Host $host;

proxy_set_header X-Forwarded-For $remote_addr;

        }

        location /status {

check_status;

access_log off;

        }

    }

}

4、重启服务测试

[root@yu61 conf]# ../sbin/nginx -t

nginx: the configuration file /application/nginx-1.6.3/conf/nginx.conf syntax is ok

nginx: configuration file /application/nginx-1.6.3/conf/nginx.conf test is successful

[root@yu61 conf]# ../sbin/nginx -s stop

[root@yu61 conf]# ../sbin/nginx

wKiom1kuQ2ORA4foAABoWbe06kU340.png