最近在测试项目,项目环境是centos 5.6下,nginx,mysql,php环境的项目,数据库的数据量较大,每个表都是近亿级别的数据,多表轮询查询。

linux的最大并发允许的链接: 

查看当前服务器的并发连接数命令: 

查看使用了多少连接数: 

cat /proc/sys/net/ipv4/netfilter/ip_conntrack_count 

新版本centos用这个: 

cat /proc/sys/net/netfilter/nf_conntrack_count

查看总数多少: 

cat /proc/sys/net/ipv4/ip_conntrack_max 

新版本用这个: 

cat /proc/sys/net/netfilter/nf_conntrack_max

临时设置增加并发数多少: 

echo “524288” > /proc/sys/net/ipv4/ip_conntrack_max 

新版本centos用这个: 

echo “524288” > /proc/sys/net/netfilter/nf_conntrack_max

最终: 

/etc/sysctl.conf中加入:net.ipv4.ip_conntract_max =102400 

新版本centos用这个: 

/etc/sysctl.conf中加入:net.nf_conntract_max =102400 

重启配置 

/sbin/sysctl -p

linux的并发过程中,time_wait的数量太大,引起的链接挂起等待,需要在服务器增加以下配置:

编辑文件/etc/sysctl.conf,加入以下内容:

net.ipv4.tcp_syncookies = 1 

net.ipv4.tcp_tw_reuse = 1 

net.ipv4.tcp_tw_recycle = 1 

net.ipv4.tcp_fin_timeout = 30 

然后执行 /sbin/sysctl -p 让参数生效。 

net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭; 

net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭; 

net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。 

net.ipv4.tcp_fin_timeout 修改系默认的 TIMEOUT 时间

数据库方面优化:使用简单的代码进行查询,建立了索引,同时查询条件相对简单化。数据库mysql的最大连接数设置成了3000,但是压力测试阶段,发现其实最大并发连接数达不到这么高。

php端优化: 

由于接口是webservice,压力测试阶段总是并发链接上不去,但是cpu和各项服务器性能参数都很低,增加libxml_disable_entity_loader(false); 在页面开始,问题解决,可以大并发访问。

Php.ini的修改:

; The timeout for serving a single request after which the worker process will 

; be killed. This option should be used when the ‘max_execution_time’ ini option 

; does not stop script execution for some reason. A value of ‘0’ means ‘off’. 

; Available units: s(econds)(default), m(inutes), h(ours), or d(ays) 

; Default Value: 0 

request_terminate_timeout = 0s

该项置0。

优化前,并发在20RPS。 

以上是对这次的优化,优化后,该接口并发达到300左右RPS,响应时间在0.3秒内。如果还要继续优化,后面需要考虑对应的第三方缓存,减少数据库级别的查询才能更好解决问题。