第一部分:

Nginx介绍及原理简单分析



快速入门

------------------------


关于Nginx,我们可以到其官网 http://nginx.org/  以及WIKI http://wiki.nginx.org 进行下载和了解。


我们可以看一下下面的英文介绍:


Nginx (pronounced engine-x) is a free, open-source, high-performance HTTP server and reverse proxy, as well as an IMAP/POP3 proxy server. Igor Sysoev started development of Nginx in 2002, with the first public release in 2004. Nginx now hosts nearly12.18% (22.2M) of active sites across all domains. Nginx is known for its high performance, stability, rich feature set, simple configuration, and low resource consumption.


从上面的,我们大概可以知道如下信息:


第一,Nginx是一个开源,免费的高性能HTTP服务器和HTTP/MAIL反向代理服务器。


第二,自2004以来,Nginx的使用占比逐渐上升,目前大概占有WEB SERVER市场的12%。

【我们可以通过http://www.netcraft.com/来看一下目前主流的WEB SERVER的使用趋势。】


第三,Nginx具有高性能,稳定性,丰富的特性,简单的配置,低资源占用等特点。



什么是正向代理/代理服务器 and 反向代理/反向代理服务器?


正向代理示意图:

深入浅出Nginx_nginx


反向代理示意图:


深入浅出Nginx_nginx_02


通俗点说,正向代理中的代理服务器好比“管家”,由这个“管家”帮你做事情,而反向代理中的反向代理服务器好比“秘书”,要想见领导必须通过“秘书”。

在正向代理中,客户机需要明确的知道“管家”的一些信息,如IP,PORT等;但是在反向代理中,客户请求的是“领导”,他并不知道在这过程中“秘书”发挥了作用。



Nginx的工作模式及原理简单分析


深入浅出Nginx_nginx_03


同Apache http server的Perfork工作模型类似,Nginx也有master,worker进程的概念。


第一,很显然,启动Nginx,就必须在端口启动监听服务,也就是套接字(ip+port),通常Nginx作为WEB SERVER和反向代理服务器都会在80端口监听。在LINUX上,要开启<1024端口的监听服务,必须用特权身份运行,也就是说master进程应该以root身份启动。



第二,那么master进程主要的职责是什么?


读取并验证配置信息

创建,绑定,关闭套接字

启动,终止,维护worker进程的个数


master负责管理worker进程,这一点好理解,需要注意的是master在处理配置信息这一块。


假设nginx已经启动,我们更改配置文件后reload,如果这个配置文件语法有误,nginx会怎么做?

如果这个配置文件OK,nginx又会怎么做?


如果配置文件有误,reload后,master会提示配置错误,并不会影响请求的处理。

如果配置文件OK,reload后,什么时候生效呢?


Nginx支持热部署!!!


如果主配置文件发生改变,那么并不会立刻影响到WORKER进程,而是MASTER等到WORKER进程的连接请求处理完毕后KILL掉这个WORKER进程,然后重新生成一个WORKER进程,这样这个WORKER进程就将以新的配置启动了。也就是说,老的连接用老的配置,新的连接用新的配置。重新加载配置文件不会中断正在处理的请求。



第三,worker进程是干嘛的?我们应该有多少个Worker进程?每一个Worker进程中有多少个线程?


在Nginx中,连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环机制进行处理,而每个worker可以并行处理数千个的并发连接和请求。


Worker进程的个数,这个是可以配置的,但是一般而言,个数应该和CPU个数一致性,主要是为了CPU的进程切换。


what can worker process do ?

接受,传入并处理来自客户端的连接;

提供反向代理等功能;



第四,worker进程如何处理请求的?


当一个请求来了,那么多个worker进程,谁去处理,还是几个一起处理?如何处理?


首先,要清楚的是,一个请求可以由一个worker进程处理并只能由这个worker进程完全处理。

Nginx在内部其实是维护了一个accept_mutex,其实就是一个锁,确保在某一时刻,一个请求只能被

一个worker进程捕获。当一个worker进程在accept这个连接之后,就开始读取请求,解析请求,处理请求,产生数据后,再返回给客户端,最后才断开连接,这样一个完整的请求就是这样的了。


Nginx采用了异步非阻塞事件驱动的方式来处理请求的,只要我们设置好WORKER进程个数与CPU的亲缘性绑定,那么就能减少CPU在进程间切换所花费的时间以及切换带来的进程的保存/恢复现场,同时,由于Nginx中一个worker里面只有一个线程,也避免了线程的上下文切换。



第五,异步/非阻塞/事件驱动???


我们知道,很多请求来了,他们大多需要读写数据,发生IO请求,此时程序就会发生中断,如果此时我们一直等待IO调用结束,才继续工作,那么这种就是阻塞的,那么很显然很多请求来了,都处于等待状态,CPU就将处于空闲状态,为了提供高并发的能力,Nginx采用的是非阻塞的方式。如果发生IO中断,那么你去做你的事情,但是过一段时间来看看IO调用是否结束,这就是非阻塞:你可以做更多的事情,但是你得时不时的检查中断状态,带来的开销也不小。


为了更高效,Nginx利用了LINUX的EPOLL模型(其他系统类似):

EPOLL模型,提供一种事件驱动机制,它可以监控多个事件是否准备好了,如果准备好了,那么就放入EPOLL队列中。这种机制是异步的。通过这样,WORKER进程只需要循环处理EPOLL队列中的请求,我们只需要在请求间不断切换,而这种切换是不需要付出什么代价的,通过这种循环处理已经准备好的请求,从而Nginx可以高效的处理高并发的问题。



好了,到这里,我们应该对Nginx的原理有些认识了,下面通过Nginx提供的一些具体功能来加深认识。






第二部分:

Nginx作为Web Server详解



安装与初步使用

------------------------


我们可以直接到NGINX的官网下载最新的稳定版,比如1.6.2。

Nginx非常轻量级,编译安装的过程非常快。

tar -xf nginx-1.6.2.tar.gz
cd nginx-1.6.2
groupadd -r nginx
useradd -r -g nginx nginx
./configure \
--prefix=/usr/nginx \
--sbin-path=/usr/sbin/nginx \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-http_flv_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/tmp/nginx/client/ \
--http-proxy-temp-path=/var/tmp/nginx/proxy/ \
--http-fastcgi-temp-path=/var/tmp/nginx/fastcgi/ \
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi/ \                      
--http-scgi-temp-path=/var/tmp/nginx/scgi/ \
--with-pcre
make
make install


可以发现,在编译中,我们指定了nginx的owner,group为我们新建的系统用户和组。


需要指定一些临时目录路径,并确保在启动NGINX时,这些临时目录是存在,否则可能启动出错。


由于Nginx是基于模块化的方式设计的,所以我们需要清楚哪些模块是默认编译安装的?


./configure --help的方式,可以获得这些信息,如果是with-somemodule,说明这个module默认是不编译的,要想使用,必须显式的使用with;如果是without-somemodule,说明这个module默认是编译的,不想编译的话,必须显式的使用without。


在安装过程中,很可能遇到缺少一些软件包,直接利用YUM的方式安装即可。



启动Nginx


根据编译时指定的可执行命令路径,

cd /usr/sbin
./nginx

即可启动Nginx


查看监听端口:

[root@localhost sbin]# netstat -tnlp | grep 80
tcp  0   0 0.0.0.0:80       0.0.0.0:*                LISTEN     28238/nginx         
[root@localhost sbin]#


我们也可以通过浏览器或者直接curl的方式访问Nginx为我们提供的首页。


深入浅出Nginx_nginx_04



深入浅出Nginx_nginx_05



我们的主战场:nginx.conf


配置文件分析

------------------------


深入浅出Nginx_nginx_06


worker_processes表示启动WORKER进程的个数,而worker_connections表示每个WORKER进程最多可以处理的连接。那么,我们最多支持的连接数 为  worker_processes * worker_connections。上面的,都是全局的配置。



下面,我们重点分析的是http段的server配置。

server{
listen port;
server_name YOUR_SERVER_NAME;
location [=|^~|~|~*] uri {
    root YOUR_FILE_PATH;
    index index.html index.jsp index.htm;
    autoindex on|off;
    deny SOMEIP/SOMEUSER;
    allow SOMEIP/SOMEUSER;
}
error_page 404 uri;
}


指令以分号结束。

每一个server用来定义一个虚拟主机,Nginx必须采用这样的方式来进行配置。

可见Nginx支持基于ServerName和Port的虚拟主机。

我们需要重点理解和注意的是location中的uri配置:


location [ = | ~ | ~* | ^~ ] uri { ... }


说明location在支持uri方面,有如下形式:


location uri {}  对这个uri下面的所有路径(包括子路径)都有效  匹配范围很大


location = uri {} 只对当前路径生效,注意如果此uri是一个目录,那么并不会对这个目录下的有效,仅仅当这个uri是文件的时候才有效。  精确匹配到具体的文件路径,对目录无效


location ~ uri {} 模式匹配,就是正则  区分大小写  uri此时就是一个正则表达式


location ~* uri {}  同上,也是模式匹配,不区分大小写


location ^~ uri {}   不使用正则表达式


那么一个请求URL来了,匹配优先级是?


优先级从高到低

=  ^~  ~和~* 不使用其他任何符号的 


举个例子:

http://servername:port/bbs/....


那么会首先寻找location = /bbs 的进行匹配,然后看不使用模式匹配的location ^~ uri能否匹配,如不匹配,继续看使用模式匹配的能否匹配location ~ uri / location ~* uri,如果模式匹配也不成功,那么看location  uri是否包含这个路径,如果最后不包含这个路径,那么就是404页面了。


看下面的一个实例配置:

server {
              listen 81;
              server_name localhost;
              location /bbs {
                root /web/;
                index index.html;
      
              }
              location /sports {
                root /web/;
                index index.html;
      
              }
          }


在/web目录下有bbs,sports目录

[root@www ~]# curl http://192.168.204.88:81/bbs/index.html
<h1>hello,bbs</h1>
[root@www ~]# curl http://192.168.204.88:81/sports/index.html
<h1>hello,sports</h1>

也就是说,root/uri的方式共同定位到文件资源的路径。


访问控制法则

基于IP地址的(deny/allow形式,注意默认情况下是allow all的)

基于用户/密码的(auth_basic 采用htpasswd生成用户密码文件即可) 


在location中可以 autoindex on 来列出文件


在SERVER段中,可以通过定义如下location来在网页上显示NGINX的状态信息

location /nginx-status {
            stub_status on;
            access_log off;   #不记录日志
}
[root@www ~]# curl http://192.168.204.88/nginx-status
Active connections: 1 
server accepts handled requests
 9 9 14 
Reading: 0 Writing: 1 Waiting: 0

说明:

Active connections表示活动的连接数。

accepts/handled表示已经接受/处理的连接数   requests表示已经处理的请求。

【注意,在一个连接中,可以处理多个请求】

reading表示nginx reads request header 

writing表示nginx reads request body ,process request or writes response to a client

waiting表示keep-alive connections,actually it is active (reading + writing)


/usr/sbin/nginx             #启动Nginx

/usr/sbin/nginx -t          #检查nginx.conf配置文件是否有误

/usr/sbin/nginx -s reload   #重新载入配置文件

/usr/sbin/nginx -s stop     #停止nginx



到这里,Nginx的基本使用以及作为web server配置方面,就差不多了。




第三部分:

关于反向代理


做一个实验来说明反向代理:


request  ->  nginx -> apache

http://www.zfz1.com:80/bbs请求到达nginx,被反向代理到Apache上,通过虚拟主机的方式进行响应http://www.zfz1.com:8080/bbs


直接上配置:


nginx.conf:

location /bbs {
             proxy_pass   http://www.zfz1.com:8080;
             index  index.html index.htm;
}


apache虚拟主机配置:

<VirtualHost 192.168.204.88:8080>
    DocumentRoot /web/
    ServerName   www.zfz1.com 
    ErrorLog logs/www.zfz1.com-error_log
    CustomLog logs/www.zfz1.com-access_log common
</VirtualHost>


/etc/hosts配置:

192.168.204.88 www.zfz1.com

/web/bbs/index.html:

<h1>hello,apache's bbs</h1>


验证:

[root@www nginx]# curl http://www.zfz1.com/bbs/index.html
<h1>hello,apache's bbs</h1>
[root@www nginx]#


从配置上,其实反向代理就是在location中用proxy_pass取代了root而已。


关于access_log的说明:


由于,我们使用了反向代理,Apache接收到的请求都是来自nginx的,那么access_log中记录的IP等信息其实都是nginx的信息,这样显然不是我们想要的,我们希望日志中记录的是真实的客户端信息,这样以后有利于我们进行日志分析。


其实,请求会在nginx这一端进行封装,我们可以自定义一些http header,比如:

location  /bbs {
    
    proxy_pass http://ip:port;
    proxy_set_header YOUR_HEADER_NAME $XXX;
}


$XXX为Nginx内置的HTTP变量,比如:$remote_addr


这些内置的变量,我们可以通官方文档来查阅:http://nginx.org/en/docs/http/ngx_http_core_module.html#variables



利用proxy_set_header进行HTTP HEADER设置,那么我们就可以在APACHE的LOGFORMAT中进行引用YOUR_HEADER_NAME了。这样日志中记录的就是我们想要的信息。




第四部分:

关于负载均衡

我们可以把后端的多个apache归并成一个组,还可以定义负载均衡法则。对于nginx而言,这些后端的APP SERVER,称为上游服务器,即upstream。

upstream backend {
    ip_hash;
    server backend1.example.com;
    server ba.ck.en.d2:port weight=x;
    server backend3.example.com max_fails=3 fail_timeout=30s;
    #server 127.0.0.1 backup;
}
server {
    ...
    location / {
       proxy_pass http://backend;
    }
    ...
}


在upstream中,我们可以定义多个server,每一个server的定义不要加上协议,要么是IP+PORT,要么是SERVERNAME+PORT,利用weight的方式定义加权轮调。Nginx可以对上游服务器进行健康状态检查,如果上游服务器DOWN了,那么Nginx不在将请求连接给他,如果上游服务器又活了,那么让他处理连接请求。max_fails和fail_timeout可以定义健康状态检查。如果所有的上游服务器都挂了怎么办呢?server 127.0.0.1 backup就会起作用了。


有些时候,我们必须将来自同一个客户端的请求定向到同一台后端服务器【保持SESSION会话】,ip_hash指令就是用来干这个的,根据客户端请求的源地址做HASH运算,只要HASH运算结果相同,那么就会一直分发到相同的上游服务器。


事实上,nginx支持三种负载均衡算法:

第一,加权轮调  round_robin

第二,IPHASH

第三,最少连接【挑一个连接数最少的上游服务器进行处理】least_conn



第五部分:

关于缓存

Nginx之所有有效的减轻了上游服务器的压力,是因为nginx的缓存机制。

nginx的缓存大概可以分为:

共享内存:存储键和缓存对象元数据。也就是说查找缓存,是在内存中完成的。

磁盘空间:存储数据。缓存数据最终也是在磁盘上的。


在http段中进行配置:

proxy_cache_path /nginx/cache levles=1:2:1 keys_zone=first:20m max_size=1g


表示缓存目录位于/nginx/cache下,1:2:1表示会建立三级目录,第一级目录名称为1个字符,第二季目录名称为2个字符,第三级目录名称为1个字符。keys_zone=a:b用来说明缓存在共享内存中的配置,a即代表名称,如果谁要使用缓存,就必须引用这个名称,b即代表内存大小。max_size用来定义磁盘缓存空间的最大大小。


在location段中明确开启缓存功能:

proxy_cache first;



第六部分:

关于URL重写


Nginx中支持rewrite模块,并支持正则表达式,来进行URL的rewrite。


这里就不在介绍了,具体的使用方法,可以参考nginx的官方文档即可。



第七部分:

结束语

由于在项目中用到了一点nginx方面的东西,学习了下,写出来和大家分享,如果理解上有错误,欢迎大家留言指正~