1.  目的

本流程旨在保证项目测试环境、生产环境web服务器所使用的nginx版本一致性、配置规范性、管理统一性。

2.  适用范围

Nginx服务器适用在公有云网络拓扑中的互联网区，仅限实现如下场景和需求：

  • 作为http协议静态资源服务器，支持ssl加密。
  • 作为http协议反向代理服务器，支持ssl加密（7层代理）。
  • 作为http/https正向代理服务器,用来出访互联网。
  • TCP、UDP协议反向代理转发（四层代理）。

以上场景可在某一台web服务器同时实现，也可按功能划分分别实现，参考具体资源部署架构实施。

3.  版本编译安装

nginx根据功能需求，可在编译时自行添加和定制官方模块、第三方模块，可以应用最新的安全补丁，可以禁用不使用的模块。

3.1  版本和依赖库

Nginx的一些模块需要依赖一些常用的工具库。依赖库原则上要做到独立于操作系统，与 NGINX 编译版本一同打包发布，以便于及时更新和重新编译。以下三个库为必要组件所需库，已将相应版本放置到nginx源码中的src目录中，以便随时编译使用。

  • PCRE 支持正则表达式语法。用于 NGINX Core 、Rewrite 模块。
  • zlib 支持头部压缩。用于 NGINX Gzip 模块。
  • OpenSSL 支持 HTTPS 协议。用于 NGINX SSL 和其它模块。

3.2  安装模块选择

Nginx 源码下载网页：http://nginx.org/download/。模块选择的基本原则：以满足生产配置需要的最小集合为准。在最小集合的基础上可以定制化模块、添加第三方模块、满足特殊系统需求的模块等等。

构建到 NGINX 开放源码中的大多数模块都是静态链接的: 它们在编译时构建到 NGINX 开放源码中，并静态地链接到 NGINX 二进制文件。                                                                                     

其中：正向代理模块ngx_http_proxy_connect_module的源码下载网页为https://github.com/chobits/ngx_http_proxy_connect_module                                                                   

健康检查模块ngx_healthcheck_module的源码下载网页为https://github.com/zhouchangxun/ngx_healthcheck_module

会话保持模块nginx-sticky-module-ng下载网页为： https://bitbucket.org/nginx-goodies/nginx-sticky-module-ng/src/master/                                                                                               

日志过滤模块ngx_log_if下载网页为：https://github.com/cfsego/ngx_log_if

监控模块nginx-module-vts下载网页为https://github.com/vozlt/nginx-module-vts

将五个模块的源码目录放入nginx源码文件夹src下

Nginx安装配置规范手册_nginx

3.3  安装目录说明

安装目录根：/usr/local/nginx ，也就是配置参数 --prefix 指定的目录，也是 NGINX 的推荐默认目录。该目录中要包含几个子目录：

注意： 该目录是 root 权限，可以根据需要授权给应用用户。

子目录

说明

$PREFIX/logs

日志存储目录，存放 访问日志、错误日志、nginx.pid

$PREFIX/sbin

程序文件目录，存放执行程序 nginx

$PREFIX/conf

配置文件目录，存放配置文件，例如：nginx.conf

3.4  配置模块选项

构建和编译的目录结构：

nginx-x.y.z: NGINX 源文件目录。

nginx-x.y.z/src：NGINX 源代码目录，其子目录中包含库源代码目录和模块源代码目录。

cd nginx-1.22.1/

如要安装正向代理和健康检查模块，需要单独打入专有的补丁。命令如下：

patch -p1 < src/ngx_http_proxy_connect_module-0.0.4/patch/proxy_connect_rewrite_102101.patch
patch -p1 < src/ngx_healthcheck_module-stable-v0.8/nginx_healthcheck_for_nginx_1.16+.patch
./configure  --prefix=/usr/local/nginx \
--user=nobody \
--group=nobody \
--with-pcre=src/pcre-8.45 \
--with-zlib=src/zlib-1.2.13 \
--with-openssl=src/openssl-1.1.1s \
--without-http_autoindex_module \
--without-http_auth_basic_module \
--without-http_empty_gif_module \
--without-http_fastcgi_module \
--without-http_geo_module \
--without-http_memcached_module \
--without-http_scgi_module \
--without-http_ssi_module \
--without-http_split_clients_module \
--without-http_uwsgi_module \
--without-http_upstream_zone_module \
--with-http_gzip_static_module \
--with-http_mp4_module \
--with-http_realip_module \
--with-http_secure_link_module \
--with-http_slice_module \
--with-http_ssl_module \
--with-http_sub_module \
--with-stream \
--with-stream_ssl_module \
--with-stream_realip_module \
--with-threads \
--add-module=src/ngx_http_proxy_connect_module-0.0.4/ \
--add-module=src/ngx_healthcheck_module-stable-v0.8/ \
--add-module=src/ngx_log_if-master/ \
--add-module=src/nginx-sticky-module/ \
--add-module=src/nginx-module-vts-0.2.1/

#在已安装的情况下添加新模块，此处需要重新配置和编译,不用执行make install，将编译好的objs/nginx二进制文件拷贝到/usr/local/nginx/sbin即可

3.5  编译构建打包

编译环境和支持操作系统：CentOS/RedHat/Oracle Linux6/7 x86_64

执行 make & make install

检查 ls -l /usr/local/nginx

4.  配置规范

4.1 配置文件结构图

为考虑模块化配置，将nginx配置文件按照功能划分为多个文件，并通过include命令将各模块根据所需组合到主配置中。配置架构如下图所示。

Nginx安装配置规范手册_nginx_02

4.2  主配置文件说明

Nginx各模块中考虑推荐配置，详细配置如下：

nginx.conf

#定义Nginx运行的用户和用户组
user nobody nobody;
#nginx进程数，建议设置为等于CPU总核心数。
worker_processes auto;
#全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]
error_log /usr/local/nginx/logs/error.log;
#进程文件
pid /usr/local/nginx/logs/nginx.pid;
#一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值ulimit -n）与nginx进程数相除，但是nginx分配请求并不均匀，所以建议与ulimit -n的值保持一致。
worker_rlimit_nofile 51200;

events {
    #参考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版本内核中的高性能网络I/O模型,linux2.6以上内核开启，提高Nginx性能，如果跑在FreeBSD上面，就用kqueue模型。
    use epoll;
    #单个进程最大连接数（最大连接数=连接数*进程数）
    worker_connections 51200;
    multi_accept on;
}
#include stream.conf;
include http.conf;

4.3  http服务及反向代理配置说明

http.conf

http {
    #文件扩展名与文件类型映射表
    include /usr/local/nginx/conf/mime.types;
    #默认文件类型
    default_type application/octet-stream;
    #流量状态监控vts
    vhost_traffic_status_zone;            
    #默认编码
    charset utf-8;
    #隐藏版本号
    server_tokens off;

    #输出到本地目录
    log_format main '$remote_addr - $remote_user [$time_local] $request' '$status $body_bytes_sent $http_referer' '$http_user_agent $http_x_forwarded_for';
    access_log /usr/local/nginx/logs/access.log main;

    #日志块（输出到web日志分析系统）
    #log_format test-combined '\'$proxy_add_x_forwarded_for\' $remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent $request_time $hostname';
    #access_log syslog:server=xx.xx.xx.xx:514,facility=local4,tag=xxxxx,severity=info test-combined;

    #开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成off。
    sendfile on;
    #长连接超时时间，单位是秒
    keepalive_timeout 120;
    #防止网络阻塞
    tcp_nopush on;
    #防止网络阻塞
    tcp_nodelay on;

    #允许客户端请求的最大单文件字节数
    client_max_body_size 60m;
    #缓冲区代理缓冲用户端请求的最大字节数
    client_body_buffer_size 128k;
    types_hash_max_size 2048;
    client_header_buffer_size 32k;
    large_client_header_buffers 4 32K;

    #开启gzip压缩输出
    gzip on;
    #允许压缩的页面的最小字节数,页面字节数从header偷得content-length中获取.默认是0,不管页面多大都进行压缩.建议设置成大于1k的字节数,小于1k可能会越压越大
    gzip_min_length 1k;
    #表示申请4个单位为16k的内存作为压缩结果流缓存,默认值是申请与原始数据大小相同的内存空间来存储gzip压缩结果
    gzip_buffers 4 16k;
    #压缩版本（默认1.1,目前大部分浏览器已经支持gzip解压.前端如果是squid2.5请使用1.0）
    gzip_http_version 1.1;
    #压缩等级.1压缩比最小,处理速度快.9压缩比最大,比较消耗cpu资源,处理速度最慢,但是因为压缩比最大,所以包最小,传输速度快
    gzip_comp_level 4;
    #压缩类型,默认就已经包含text/html,所以下面就不用再写了,写上去也不会有问题,但是会有一个warn.
    gzip_types text/plain application/javascript application/x-javascript text/javascript text/xml text/css image/gif image/png image/jpg;
    #选项可以让前端的缓存服务器缓存经过gzip压缩的页面.例如:用squid缓存经过nginx压缩的数据
    gzip_vary on;

    #引入http服务器
    include http-server.conf

    #引入正向代理模块
    include forward-proxy.conf
}

http-server.conf

#weight 默认为1.weight越大，负载的权重就越大
    upstream myserver {
        server 192.168.24.200:8080 weight=2;
        server 192.168.24.205:8080 weight=2;

        #健康检查插件。 检查的协议为 http，每隔3秒检测一次， 请求3次正常则标记 realserver 状态为 up
        #如果检测 5 次都失败， 则标记 realserver 状态为 down,  超时时间为1秒
        check interval=3000 rise=3 fall=5 timeout=1000;
        #check_http_send HEAD HTTP/1.0\r\n\r\n;
        #check_http_expect_alive http_2xx http_3xx;
    }

    #静态页面和反向代理
    server {
        # ipv4和ipv6双栈访问
        listen 80;
        listen [::]:80 ipv6only=on;
        # 域名或IP可以有多个,用空格隔开
        server_name 127.0.0.1; 
        #负载均衡上的健康检查采用HEAD请求，可排除日志打印
        access_log_bypass_if ($request_method = HEAD);
        #限定http请求方法只能是GET\POST\HEAD
        if ($request_method !~* GET|POST|HEAD) {
            return 403;
        }
        #添加nginx-vts监控
        location /status {
            vhost_traffic_status_display;
            vhost_traffic_status_display_format html;
        }
        #处理静态文件请求
        location ^~ /static/ {
            #只要用户在浏览器中访问的域名绑定了 VIP VIP 下面有RS；则就用$host ；host是访问URL中的域名和端口 www.taobao.com:80
            proxy_set_header Host $host;
            #把源IP 【$remote_addr,建立HTTP连接header里面的信息】赋值给X-Real-IP;这样在代码中 $X-Real-IP来获取 源IP
            proxy_set_header X-Real-IP $remote_addr;
            #在nginx作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            alias /home/webroot/static/;
            index index.html index.htm;
        }

        location ~* \.(gif|jpg|jpeg|png|css|js|ico)$ {
            alias /ome/webroot/resource/;
        }
        # 转发请求错误页面到特定的特定静态网页
        error_page 403 404 /40x.html;
        location = /40x.html {
            alias /usr/local/nginx/html;
        }

        # 转发错误页面到特定的特定静态网页
        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
            alias /usr/local/nginx/html;
        }

        #禁用隐藏文件
        location ~ /\. {
            deny all;
        }

        #对 / 启用反向代理
        location / {
            proxy_pass http://myserver;
            #proxy_redirect off;
            #proxy_redirect ~^http://([^:]+)(:\d+)?(.*)$ https://$1$3;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header Cookie $http_cookie;
            proxy_pass_header Set-Cookie;
            add_header Response-IP $upstream_addr;
            add_header Response-Status $upstream_status;

            #后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header Host $host;

            #以下是一些反向代理的配置，可选。
            #nginx跟后端服务器连接超时时间(代理连接超时)
            proxy_connect_timeout 90s;
            #后端服务器数据回传时间(代理发送超时)
            proxy_send_timeout 90s;
            #连接成功后，后端服务器响应时间(代理接收超时)
            proxy_read_timeout 90s;
            #设置代理服务器（nginx）保存用户头信息的缓冲区大小
            proxy_buffer_size 4k;
            #proxy_buffers缓冲区，网页平均在32k以下的设置
            proxy_buffers 4 32k;
            #高负荷下缓冲大小（proxy_buffers*2）
            proxy_busy_buffers_size 64k;
            #设定缓存文件夹大小，大于这个值，将从upstream服务器传
            proxy_temp_file_write_size 64k;
        }
    }

4.4  正向代理配置说明

forward-proxy.conf

#正向代理模块
server {
  listen 3128;
  # 公有云dns服务器
  resolver xx.xx.xx.xx ipv6=off;
  resolver 114.114.114.114 ipv6=off;
  # 正向代理使用了connect请求的请求配置
  proxy_connect;
  # 出访的服务端口需要补充，all放开所有  
  proxy_connect_allow 80 443 563;    
  proxy_connect_connect_timeout 60s;   
  proxy_connect_read_timeout 60s;   
  proxy_connect_send_timeout 60s;
  # 非Connect请求的配置  
  location / {         
  proxy_pass http://$http_host;       
  proxy_set_header Host $host;      
  proxy_connect_timeout 60s;      
  proxy_read_timeout 60s;       
  proxy_send_timeout 60s;
   }
 }

客户端配置参考：针对各别用户代理可编辑对应的 ~/.bashrc文件，针对全局用户可编辑/etc/profile文件:

http_proxy=10.0.0.14:3128    #NGINX服务器与端口
https_proxy=10.0.0.14:3128
ftp_proxy=10.0.0.14:3128
export http_proxy https_proxy ftp_proxy
#source ~/.bashrc   或者  source /etc/profile

测试正向代理是否生效:curl https://www.baidu.com

查看nginx日志,tail -f /usr/local/nginx/logs/access.log

出现以下内容则表示全局正向代理配置完成

"CONNECT www.baidu.com:443 HTTP/1.1" 200 7198 "-" "curl/7.29.0"


4.5  TCP/UDP流服务器配置说明

stream.conf

#4层网络流量转发配置
stream {
  upstream socket_proxy {
      server 192.168.1.100:9000 ;   
      server 192.168.1.101:9000 ;
    }

  server {
  #根据协议选择tcp或udp,默认tcp 
      listen 9001 tcp/udp;  
      proxy_connect_timeout 5s;    
      proxy_timeout 60m;    
      proxy_pass socket_proxy;
    }
}

5. 启动与使用

chmod -R 755 /usr/local/nginx 
chmod u+s /usr/local/nginx/sbin/nginx #关键步骤，可允许非root启动nginx
mkdir /var/log/nginx/ 
chmod 777 /var/log/nginx/
setfacl –Rm u:user1:rwx /usr/local/nginx/conf
setfacl –Rm u:user1:rwx /var/log/nginx/

/usr/local/nginx/sbin/nginx –c /usr/local/nginx/conf/nginx.conf

也可以编写systemctl脚本启动

cat <<EOF > /lib/systemd/system/nginx.service 
[Unit]
Descriptinotallow=nginx
After=network.target
 
[Service]
Type=forking
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
ExecStop=/usr/local/nginx/sbin/nginx -s quit
PrivateTmp=true
 
[Install]
WantedBy=multi-user.target
EOF


6. 日志输出及定时清理

为保证操作系统内文件系统被nginx日志输出占满，现要求nginx日志输出按日期分割，并定期清理。 操作系统内部默认安装了logrotate日志管理工具，在/etc/logrotate.d/下vim nginx,并输入如下内容并保存。logrotate将每日切割一个日志文件，压缩和定期清理；user1为自定义应用用户。

/usr/local/nginx/logs/*log { 
  su root user1   
  create 0666 root user1   
  daily      
  rotate 5   
  dateext
  missingok    
  notifempty    
  compress
  sharedscripts
  postrotate
        /bin/kill -USR1 `cat /usr/local/nginx/logs/nginx.pid 2>/dev/null` 2>/dev/null || true
  endscript
}

注意：脚本中的cat /usr/local/nginx/logs/nginx.pid这一段如果按照上述准模式安装，此路径pid正确，如果自行其他形式安装，请根据情况修改。