近几天在性能测试过程中,发现loadrunner Controller经常报 Server “**” has shut down the connection prematurely 。概率很高,现象很奇怪。网上有很多说法,各有不同,但貌似都不正确,只能靠自己追踪。
根据经验仔细分析,发现可能跟下列因素有关:
(1)loadrunner客户端服务器网卡资源不足;
(2)tcp/ip或者http connection keepalive连接超时时间设置太长,造成无连接可用;
(3)应用服务端有问题。

一、用事实做详细的对比:

分析:从对比结果来看,shut down的比例跟loadrunner客户端确实有关系,但无论客户端怎样改变,还是该现象出现,而且比例始终超过万分之1。


loadrunner服务器数量

TcpTimedWaitDelay键值

并发用户数

平均TPS

shut down比例

1台

30s

13

76.195

万分之18.4

1台

10s

7

66.49

万分之10.8

2台

10s

7

85.994

万分之1.39

2台

10s

2

33.544

万分之1.23


至此,可以排除loadrunner客户端的原因。

二、转向服务端,在dpm服务器上,发现apache占用很大的资源,而且有报错:
  (1)在压力情况下,apache(httpd进程)占用的物理内存,平均每秒增涨4M,非常恐怖;
  (2)Apache日志中有三类报错信息:
     a、 [Tue Jun 30 18:54:37 2009] [error] [client 192.168.**.**] unable to init Zlib: deflateInit2 returned -4: URL /distributor/product/my_product_list.htm
     b、 [Tue Jun 30 18:54:38 2009] [notice] child pid 28699 exit signal Segmentation fault (11)
     c、Memory allocation failed.

分析:经过观察,推论出httpd进程占用物理内存狂增,导致服务器没有剩余资源分配给它,造成memory allocation failed。

三、修改和屏蔽一些apache配置项,例如减少SendBufferSize所占空间、屏蔽CustomLog日志。都无济于事。

问题到底出在哪? 欲知后事如何,敬请关注该主题的下一篇blog。

上一篇Blog讲到,性能测试过程中发现server shut down现象,经过追踪,定位到是apache子进程狂吃内存。

根据经验,判断问题可能出在apche加载某个/某些模块上。于是,使用“拆分问题,隔离分析”的分析方法。先隔离出apache加载的所有模块。再采取注释、重启、验证的方式,逐步缩小隔离范围。最终定位出瓶颈点。

系apache在加载一个Taobao**_module时,每秒消耗4M内存,导致apache占用的物理内存不断增涨,当涨至操作系统能分配给apache的最大内存时,apache子进程死掉。在老的子进程死亡和新的子进程创建的时间间隔,有请求过来,系统自然没有响应,从loadrunner那端看,就是server shut down。

真相得以大明。接下来就是对这个模块进行优化了。

一个 1.84/千 ,背后竟然隐含如此巨大的性能问题。如果不深究,问题很快就被忽视了,系统上线之后,不被上帝眷顾的用户很有可能就打不开网页了。整个瓶颈查找的过程,我想可以让我们想到以下几点:

1. 性能测试工程师需要具备敏锐的观察力,再小的概率,只要出错,必定深究;

2. 性能测试工程师需要有清晰的思路,先查什么,后查什么,要设计得很明确;

3.  除了注重jboss和java程序,apache也应当重点关注,特别是出现error的时候;

4. “拆分问题,隔离分析”的方法确实很实用;

5. 尽信书不如无书,遇到具体问题要具体分析。

持续学习、持续收获才能带来持续的满足和快乐!