我们经常会碰到nginx
2022/04/01 13:20:58 [warn] 56080#0: *729482 an upstream response is buffered to a temporary file /usr/local/server/nginx/tmp/fastcgi/5/71/0000029715 while reading upstream, client: 223.104.41.76, server: new.wdmcake.cn, request: "POST /api/category HTTP/1.1", upstream: "fastcgi://unix:/dev/shm/php-fcgi.sock:", host: "new.wdmcake.cn", referrer: "https://servicewechat.com/wxf511174b6ab138e3/60/page-frame.html"
2022/04/01 13:21:21 [warn] 56080#0: *729713 an upstream response is buffered to a temporary file /usr/local/server/nginx/tmp/fastcgi/6/71/0000029716 while reading upstream, client: 223.104.39.1, server: new.wdmcake.cn, request: "POST /api/category HTTP/1.1", upstream: "fastcgi://unix:/dev/shm/php-fcgi.sock:", host: "new.wdmcake.cn", referrer: "https://servicewechat.com/wxf511174b6ab138e3/60/page-frame.html"
2022/04/01 13:21:52 [warn] 56080#0: *729910 an upstream response is buffered to a temporary file /usr/local/server/nginx/tmp/fastcgi/7/71/0000029717 while reading upstream, client: 123.117.126.67, server: new.wdmcake.cn, request: "POST /api/category HTTP/1.1", upstream: "fastcgi://unix:/dev/shm/php-fcgi.sock:", host: "new.wdmcake.cn", referrer: "https://servicewechat.com/wxf511174b6ab138e3/60/page-frame.html"
类似这样的错误:
an upstream response is buffered to a temporary file while reading upstream
出现这样的错误提示就是nginx的内存的buffer不够用了,需要进一步的优化,我们先来了解一下nginx的buffer机制
对于来自 FastCGI Server 的 Response,Nginx 将其缓冲到内存中,然后依次发送到客户端浏览器。缓冲区的大小由 fastcgi_buffers 和 fastcgi_buffer_size 两个值控制
fastcgi_buffers 控制 nginx 最多创建 8 个大小为 4K 的缓冲区,而 fastcgi_buffer_size 则是处理 Response 时第一个缓冲区的大小,不包含在前者中。所以总计能创建的最大内存缓冲区大小是 8*4K+4K = 36k。而这些缓冲区是根据实际的 Response 大小动态生成的,并不是一次性创建的。比如一个 8K 的页面,Nginx 会创建 2*4K 共 2 个 buffers。
当 Response 小于等于 36k 时,所有数据当然全部在内存中处理。如果 Response 大于 36k 呢?fastcgi_temp 的作用就在于此。多出来的数据会被临时写入到文件中,放在这个目录下面。
Buffer Size 优化
buffer的大小是你需要调优最重要参数。如果buffer size太小就会到导致nginx使用临时文件存储response,这会引起磁盘读写IO,流量越大问题越明显。
client_body_buffer_size 处理客户端请求体buffer大小。用来处理POST提交数据,上传文件等。client_body_buffer_size 需要足够大以容纳如果需要上传POST数据。
fastcgi_buffers,proxy_buffers 处理后端响应。如果这个buffer不够大,同样会引起磁盘都系IO。需要注意的是它们有一个上限值,这个上限值受 fastcgi_max_temp_file_size 、 proxy_max_temp_file_size控制。
FastCGI缓冲设置主要参数
fastcgi_buffers 4 64k
这个参数指定了从FastCGI进程到来的应答,本地将用多少和多大的缓冲区读取,假设一个PHP或JAVA脚本所产生页面大小为256kb,那么会为其分配4个64kb的缓冲来缓存;若页面大于256kb,那么大于256kb的部分会缓存到fastcgi_temp指定路径中,这并非是个好办法,内存数据处理快于硬盘,一般该值应该为站点中PHP或JAVA脚本所产生页面大小中间值,如果站点大部分脚本所产生的页面大小为256kb,那么可把值设置为16 16k,4 64k等。
fastcgi_buffer_size=64k
读取fastcgi应答第一部分需要多大缓冲区,该值表示使用1个64kb的缓冲区读取应答第一部分(应答头),可以设置为fastcgi_buffers选项缓冲区大小。
fastcgi_connect_timeout=300
连接到后端fastcgi超时时间,单位秒,下同。
fastcgi_send_timeout=300
向fastcgi请求超时时间(这个指定值已经完成两次握手后向fastcgi传送请求的超时时间)
fastcgi_reAd_timeout=300
接收fastcgi应答超时时间,同理也是2次握手后
理解了nginx buffer机制后根据自已的服务的响应的包大小高整buffer参数
我的服务调整成:
fastcgi_buffers 8 4K;
fastcgi_buffer_size 4K;
后,上面的错误信息就很少了