nginx性能优化 nginx性能瓶颈

Nginx优化

一、什么是优化

1.了解知识

# nginx进程的两种工作方式

master  调度
worker  工作 #最多也就几百并发

1、首先需要了解我们当前系统的结构和瓶颈，了解当前使用的是什么，运行的是什么业务，都有哪些服务，了解每个服务最大能支撑多少并发。比如nginx作为静态资源服务并发是多少，最高瓶颈在哪里，能支持多少qps（每秒查询率）的访问请求，那我们怎么得出这组系统结构瓶颈呢，比如top查看系统的CPU负载、内存使用率、总得运行进程等，也可以通过日志去分析请求的情况，当然也可以通过我们前面介绍到的stub_status模块查看当前的连接情况，也可以对线上的业务进行压力测试（低峰期），去了解当前这套系统能承担多少的请求和并发，以做好响应的评估。这个是我们做性能优化最先考虑的地方。  
## 服务的极限 最高支持50000并发

2、其次我们需要了解业务模式，虽然我们是做性能优化，但每一个性能的优化都是为业务所提供的服务的，我们需要了解每个业务接口的类型，比如：电商网站中的抢购模式，这种情况下，平时没什么流量，但到了抢购时间流量会突增。我们还需要了解系统层次化的结构，比如：我们使用nginx做的是代理、还是动静分离、还是后端直接服务用户，那么这个就需要我们对每一层做好相应的梳理。以便更好的服务业务。

3、最后我们需要考虑性能与安全，往往注重了性能，但是忽略了安全。往往过于注重安全，对性能又会产生影响。比如：我们在设计防火墙功能时，检测过于严密，这样就会给性能带来影响。那么如果对于性能完全追求，却不顾服务的安全，这个也会造成很大的隐患，所以需要评估好两者的关系，把握好两者的孰重孰轻。以及整体的相关性，权衡好对应的点。

1.首先需要了解我们当前系统的结构和瓶颈
# 结构和瓶颈 ： 了解我们的服务器的各个配置，例如负载均衡，如果至于七层，表示我们端口至于65535个，假如用户访问量多，可能会不够，那是否需要做4层负载均衡添加端口。
# 了解七层负载均衡下面的web服务器的硬件性能都是怎样的，内存，硬件，CPU。目前现在的web服务器够支持服务吗？
# mysql有多少台.假如客户的访问量大，导致WEB端访问mysql的量也大，那么mysql是否做了主从，以及读写分离,分担数据库的压力。
# 静态共享文件用的是什么？是NFS还是分布式文件系统？、、

2、其次我们需要了解业务模式，
# 例如双十一电商网站中的抢购模式，这种情况下，平时没什么流量，但到了抢购时间流量会突增。我们还需要了解系统层次化的结构，登录，用户管理，购物车，支付，浏览，双十一的时候，会对，购物车，支付以及浏览的要求量比较大，这时候，我们是否应该针对购物车，支付，以及浏览的web端多添加一台机器，缓解压力。
`重点来说，看自己的业务模式，针对压力大的服务，来进行优化，或者添加硬件配置。

3.我们还需要了解系统层次化的结构

4.最后我们需要考虑性能与安全
# 对于性能以及安全，查看公司的业务系统，是关于金融，游戏。电商等，各个不同，对于安全性以及性能的取舍也不同。

2.Nginx从哪些方面入手进行优化

# OSI七层模型：物理层，数据链路层，网络层，传输层，会话层，表示层，应用层

# 1.物理层，硬件：
		1、nginx做负载均衡只需要cpu核心多一些
		2、静态资源存储，磁盘大一些
		3、nginx做动态资源代理，CPU
		4、ES，redis服务内存需要大一些
		
# 2.网络层：
		1、丢包、延迟
		2、带宽
		
# 3.系统：对linux系统优化
		1、打开文件数 --- #文件描述符
	 	2、端口复用 --- # 强制使用time_wait端口
	 	'即服务器之间的连接，例如web01的'7890'端口连接数据库的'80'端口，他们之间的连接也是tcp3次握手协议。针对TCP4次挥手。因为在服务端结束后，也就是第三次挥手的时候会有个'time_wait'等待释放时间，这个时间段大概是1-4分钟，在这1-4分钟内不能使用，在这个时间内，端口不会迅速的被释放，所以可通过端口复用的方法来解决这个问题'
	 	
# 4.应用：tcp长连接 -- (比较块，一次链接，多次请求)
		不仅仅是用户访问服务器的，'负载均衡的keepalived',负载均衡连接web,web连接php,数据库，共享文件等，都是短链接，需要我们优化为长链接。

# 5.服务：服务的针对性优化

3.影响性能的指标

1.网络   # 丢包，延迟
2.系统   # 文件描述符，端口的复用，系统的内存/负载
3.服务   # 
4.程序   # 开发代码（不关我们事）
5.数据库 # 读写分离，主从，高可用，索引等。

二、ab测试工具

1.安装ab测试工具

为什么用nginx做web服务？nginx性能最优，在处理静态文件速度比apache,tomcat快。
用ab测试工具，测试tomcat以及nginx之间，那个处理的速度比较快。

#查看命令所在的包
[root@web01 ~]# yum provides ab

#安装ab
[root@web01 ~]# yum install -y httpd-tools

2.工具使用

[root@web01 ~]# ab -n 200 -c 2 http://www.baidu.com/  ##必须加根/

-n	请求的次数
-c	请求的并发数
-k	开启长连接

Usage: ab [options] [http[s]://]hostname[:port]/path

3.配置nginx网站

[root@web01 conf.d]# vim linux.ab.com.conf 
server {
    listen 80;
    server_name linux.ab.com;
    root /mm;

    location / {
        try_files $uri $uri/ @java;
    }

    location @java {
        proxy_pass http://172.16.1.8:8080;
    }
}

[root@web01 conf.d]# echo "test nginx web" > /mm/index.html

[root@web01 conf.d]# echo "test try_file" > /mm/index.html

# 授权： chown -R www.www /mm/
## 检查nginx -t 并重启

[root@web01 conf.d]# systemctl restart nginx

本地hosts访问  10.10.0.7 linux12.ab.com

4.配置hosts压测nginx访问静态资源 #nginx 测试的比较快

[root@web01 conf.d]# vim /etc/hosts

10.10.0.7 linux12.ab.com

[root@web01 conf.d]# ab -n 50000 -c 200 http://linux12.ab.com/

Concurrency Level:      200
Time taken for tests:   10.534 seconds
Complete requests:      50000
Failed requests:        0
Write errors:           0
Total transferred:      13600000 bytes
HTML transferred:       1000000 bytes
Requests per second:    4746.50 [#/sec] (mean)
Time per request:       42.136 [ms] (mean)
Time per request:       0.211 [ms] (mean, across all concurrent requests)
Transfer rate:          1260.79 [Kbytes/sec] received

5.压测tomcat访问静态资源

[root@web01 conf.d]# mv /mm/ /mmbak

[root@web01 conf.d]# ab -n 50000 -c 200 http://linux12.ab.com/
Server Software:        nginx/1.18.0
Server Hostname:        linux12.ab.com
Server Port:            80

Document Path:          /
Document Length:        20 bytes

Concurrency Level:      200
Time taken for tests:   9.664 seconds
Complete requests:      50000
Failed requests:        0
Write errors:           0
Total transferred:      13600000 bytes
HTML transferred:       1000000 bytes
Requests per second:    5173.97 [#/sec] (mean)
Time per request:       38.655 [ms] (mean)
Time per request:       0.193 [ms] (mean, across all concurrent requests)
Transfer rate:          1374.34 [Kbytes/sec] received

6.压测httpd访问静态资源

[root@web01 conf.d]# yum install -y httpd
[root@web01 conf.d]# echo "test httpd" > /var/www/html/index.html
[root@web01 conf.d]# systemctl stop nginx
[root@web01 conf.d]# systemctl start httpd

[root@web01 conf.d]# ab -n 50000 -c 200 http://10.10.0.7/
Server Software:        Apache/2.4.6
Server Hostname:        10.10.0.7
Server Port:            80

Document Path:          /
Document Length:        11 bytes

Concurrency Level:      200
Time taken for tests:   8.925 seconds
Complete requests:      50000
Failed requests:        0
Write errors:           0
Total transferred:      14050000 bytes
HTML transferred:       550000 bytes
Requests per second:    5602.52 [#/sec] (mean)
Time per request:       35.698 [ms] (mean)
Time per request:       0.178 [ms] (mean, across all concurrent requests)
Transfer rate:          1537.41 [Kbytes/sec] received

7.结论

nginx处理静态资源的速度比其他web服务要快 （5倍左右）

8.tomcat正经安装方式

8.1.下载或上传tomcat包

[root@web01 ~]# mkdir /service
[root@web01 ~]# cd /service
[root@web01 service]# ll
total 5884
-rw-r--r-- 1 root root 6022059 Apr 10 16:29 apache-tomcat-9.0.41-src.tar.gz

8.2 解压代码包

# 1.上传并解压至指定文件夹
[root@web01 service]# tar xf jdk-8u40-linux-x64.gz -C /service/
[root@web01 service]# mv jdk1.8.0_40 java1.8

# 2.安装tomcat  # 第二种方式
[root@lb02 script]# yum install java-1.8.0-openjdk -y
[root@lb02 script]# https://mirrors.bfsu.edu.cn/apache/tomcat/tomcat-9/v9.0.45/bin/apache-tomcat-9.0.45.tar.gz
[root@lb02 script]# tar -xf apache-tomcat-9.0.45.tar.gz -C /usr/local

# 3.修改添加环境变量
[root@web01 service]# vim /etc/profile.d/java.sh
export JAVA_HOME=/service/java1.8
export JRE_HOME=/service/java1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin
[root@web01 service]# source /etc/profile

8.3配置tomcat页面

[root@web01 service]# echo "linux12_tomcat" > apache-tomcat-8.5.51/webapps/ROOT/index.html
[root@lb02 apache-tomcat-9.0.45]# java -version #tomcat成功
openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)

8.4启动tomcat，启动的时候最好看着日志

[root@web01 service]# /service/apache-tomcat-8.5.51/bin/startup.sh            #启动tomcat 

[root@web01 service]# /service/apache-tomcat-8.5.51/bin/ shutdown.sh           # 停止tomcat

[root@web01 service]#tail -f /service/apache-tomcat-8.5.51/logs/catalina.out   #日志监控

三、系统优化

1.文件句柄优化–可打开的最大文件数量

# 1、查看文件句柄数设置

[root@lb01 ~]# ulimit -n
1024

# 2.查看打开的文件句柄数 （安装lsof软件）

[root@lb01 ~]# lsof | wc -l
3061
[root@web01 ~]# lsof | wc -l
5060

# 3.查看指定服务的打开文件句柄数

[root@web01 ~]# lsof -p 31491  | wc -l   #31491  ：查看同一个服务打开的所有文件数是多少。

# 4.设置文件句柄数 -- 系统全局的设置

[root@web01 ~]# vim /etc/security/limits.conf
* - nofile 65535
* soft nofile 65535
* hard nofile 65535 
*		#所有用户
-		#当超过设置的文件句柄数时，什么都不干
soft	#当超过设置的文件句柄数时，仅提示
hard	#当超过设置的文件句柄数时，直接限制

# 5.设置文件句柄数 -- 用户局部局的设置

[root@web01 ~]# vim /etc/security/limits.conf
root - nofile 65535
root soft nofile 65535
root hard nofile 65535

# 6.针对某一个服务设置 文件巨柄

'以NGINX为例子，修改它的文件句柄,其他的服务通路，找到某项服务的主配置文件，
[root@lb01 ~]# vim /etc/nginx/nginx.conf 
user  www;
worker_processes  1;
worker_rlimit_nofile 65535; # 修改nignx的最大文件句柄为65535.

2、系统通用优化 （内核优化）

[root@lb01 ~]# sysctl -a   #全部内核参数
[root@lb01 ~]# cat /etc/sysctl.conf  #这个文件夹也可以
net.ipv4.tcp_fin_timeout = 2
net.ipv4.tcp_tw_reuse = 1

[root@lb01 ~]# vim /etc/sysctl.conf
net.ipv4.tcp_fin_timeout = 2
net.ipv4.tcp_tw_reuse = 1  #tw 就是time wait  开启time wait 使用
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_keepalive_time = 600
net.ipv4.ip_local_port_range = 4000 65000
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.route.gc_timeout = 100
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_synack_retries = 1
net.core.somaxconn = 16384
net.core.netdev_max_backlog = 16384
net.ipv4.tcp_max_orphans = 16384
net.ipv4.ip_forward = 1    #开启IP转发，默认是开启的

[root@lb01 conf.d]# sysctl -p   #生效

四、代理服务优化

# tcp长连接 -- (比较块，一次链接，多次请求)
# 不仅仅是用户访问服务器的，'负载均衡的keepalived',负载均衡连接web,web连接php,数据库，共享文件等，都是短链接，需要我们用到代理，优化为长链接。

1.配置用户访问负载均衡的长连接

[root@lb01 ~]# vim /etc/nginx/nginx.conf
... ...
http {
	... ...
	keepalive_timeout  65;
	... ...
}

2.配置负载均衡代理到web的长连接

[root@lb01 ~]# vim /etc/nginx/conf.d/linux12.keep.com.conf
upstream tomcat {
    server 172.16.1.7:8080;
    keepalive 8;  #配置开启长连接，16，32也是同样开启长连接
}

server {
    listen 80;
    server_name linux12.keep.com;

    location / {
        proxy_pass http://tomcat;
        proxy_http_version 1.1;             #代理带后端的http版本，1.0是短链接，1.1是长链接。
        proxy_set_header Connection "";	    #清除请求头字段
        include proxy_params;
    }
}

# 代理nginx也可以  把8080改成80就行

3.配置web代理到php保持长连接

[root@web01 ~]# vim /etc/nginx/conf.d/linux12.wp.com.conf 
## 这是基于负载均衡，使用我代理我自己方式，开启长链接。
upstream php_server {
    server 127.0.0.1:9000;
}

server {
    listen 80;
    server_name linux12.wp.com;

    location / {
        root /mm/wordpress;
        index index.php;
    }

    location ~* \.php$ {
        fastcgi_pass php_server;
        fastcgi_param SCRIPT_FILENAME /mm/wordpress/$fastcgi_script_name;
        fastcgi_param HTTPS on;
        fastcgi_keep_conn on;  # 表示对于'php_server'开启长链接
        include fastcgi_params; 
    }
}

4.代理优化配置

[root@lb01 ~]# vim /etc/nginx/proxy_params 
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 20s;
proxy_read_timeout 20s;
proxy_send_timeout 20s;
proxy_buffering on;
proxy_buffer_size 8k;
proxy_buffers 8 8k;
proxy_next_upstream http_500 http_502 http_503 http_504;

五、静态资源优化

1.静态资源缓存

# 类型	         后缀
图片文件	gif、png、jpg、jpeg
视频文件	mp4、avi、rmvb
其他文件	txt、xml、pdf
样式文件	css、js、html

2.静态资源缓存

## 此都是在浏览器的内容

#响应头部
cache-control: no-cache, max-age=0, must-revalidate
expires: Fri, 01 Jan 1980 00:00:00 GMT
last-modified: Mon, 28 Sep 1970 06:00:00 GMT
ETag: "5fd6c1d9-7cda"

#请求头部
If-None-Match: "5fs2c4d9-7cda"
If-Modified-Since: Sat, 13 Sep 2021 15:43:09 GMT

3、浏览器缓存

# 1、浏览器缓存原理
1.浏览器先去查看响应头部的 cache-control
2.如果没有超过缓存时间，直接返回浏览器缓存的内容
3.如果 cache-control 设置为 no-cache，浏览器会继续去读取 expires
4.如果没有到达 expires 设置的时间，那么浏览器会读取缓存
5.如果 cache-control 和 expires 都没有设置
6.浏览器会去查看服务器上面的 ETag
7.服务器上如果有 ETag，那么浏览器会拿着 If-None-Match 与其对比，如果值相同，那么走缓存
8.如果 ETag 与 If-None-Match 不同，浏览器会读取服务器上的 last-modified
9.服务器上如果有 last-modified，那么浏览器会拿着 If-Modified-Since 与其对比，如果值相同，那么走缓存
10.如果 last-modified 与 If-Modified-Since 不同，则不走缓存，需要重新到服务器上获取数据并返回

# 2、浏览器缓存参数含义
1.cache-control：    `缓存控制，记录的是文件的保留时长
2.expires：          `缓存到期时间
3.ETag：             `服务器上保留的文件的唯一识别符
4.If-None-Match：    `浏览器上上保留的文件的唯一识别符
5.last-modified：    `服务器上保留的文件的最后修改时间
6.If-Modified-Since：`浏览器上保留的文件的最后修改时间