性能测试过程中,首先应该设计测试场景,模拟真实业务发生的情境,然后是针对场景设计脚本。
为了真实的反映被测对象可能存在的性能问题,需要尽可能模拟被对象可能发生瓶颈的业务场景。测试需求分析过程中已经确定了需要测试的业务类型,在此,则需要设计针对每种或综合业务的测试场景。
性能测试场景通常包括单业务基准测试、单业务压力测试、单业务负载测试、综合业务基准测试、综合业务压力测试、综合业务负载测试、综合业务稳定性测试等7种常用测试场景。
单业务基准测试
测试某个具体业务是否满足系统设计或用户期望的性能指标,如用户期望系统支付接口支持50个用户并发支付,如果满足了,则认为基准测试完成,否则失败。基准测试过程中,性能指标的任何一项均需成功,才认为基准测试完成。基准测试可分为并发基准及业务量基准两种,其目的都在于验证是否满足预期目标设定。
单业务压力测试
测试某个具体业务在最大负载下,持续服务的时长,以此验证被测业务的稳定性。压力测试过程中所设计的负载,是以系统基准负载为标准,如系统基准负载为50个并发用户,则压力测试的负载设为50个,通过运行时长的变化,验证服务器在系统预设负载下持续服务的能力。具体的时长从需求分析、运行日志、系统设计规划等来源获取。
单业务负载测试
测试某个具体业务能够承受最大负载,验证被测业务能够承受的最大负载数,如系统基准负载为50个,则通过多次测试,逐步加大负载,最终获得被测业务的最佳负载。在最佳负载下,系统仍需满足各项性能指标。
综合业务基准测试
与单业务基准测试类似,但综合业务需考虑业务与业务间的联系,如果相互之间存在资源争用,则需单独组合测试,假设系统需测试的业务有三个:A、B、C,综合业务基准测试是将ABC一起运行,那么加上A、B、C三个基准测试,共计4个基准测试场景,分别是ABC、A、B、C,但A与C存在资源争用,则需单独将A与C组合,构成一个单独的测试场景,则一共为ABC、A、B、C、AC等5个基准测试场景。
综合业务测试中的数据分配,根据实际业务、用户需求、运行日志、运营规划等分析确定。
假设某银行柜员交易系统,1小时内有4个柜员进行存款操作,6个柜员进行开户操作,10个柜员进行查询操作,则综合业务的负载比例设置为:
存款业务占比:4/(4+6+10)=20%
开户业务占比:6/(4+6+10)=30%
查询业务占比:10/(4+6+10)=50%
综合业务压力测试
与单业务压力测试类似。
综合业务负载测试
与单业务负载测试类似
综合业务稳定性测试
综合业务稳定性测试通常为核心业务在基准负载的基础上运行相对长的时间,验证服务器持续提供稳定服务的能力。稳定性场景测试的时间由需求方设定,一般为7*24小时不间断执行。
通过上述分析,根据ECShop平台业务模型确定本次性能测试的场景主要为登录并发基准测试,登录业务量基准测试,商品随机浏览购买并发基准测试、商品随机浏览购买业务量基准测试等四个场景。
场景设计中需要设置线程数,当需求未明确指出时该如何确定呢?
以本次测试为例,要求在2小时内支持5万次用户登录,可通过如下计算方法获取线程数。
Total_Thread=BC/(T*60*60/t)
T:考察时间段,如此处的2小时
t:单用户单次业务消耗时间,即单个用户完成一次业务过程所消耗的时间,尽可能模拟用户的真实行为。
BC:业务量,如此处的5万。
利用JMeter测试单次业务消耗时间,代入公式即可获得执行2小时5万用户登录所需的线程数。
如上图所示,ECShop用户登录系统单次消耗时间采用90%抽样为88+135=223毫秒,如果加上模拟用户输入用户名及密码、登录成功后等待返回主页、退出后等待返回主页等操作的思考时间,以5秒、3秒、3秒计算,则单用户访问ECShop登录所消耗时间为0.223秒+5秒+3秒+3秒=11.223秒。
则代入上述公式,获得模拟2小时5万用户登录所需的线程数为:
Total_Thread=50000/(2*60*60/11.223)=77.88
因线程个数无法为小数,故取整为78个线程数
同样方法,计算用户登录后随机选择商品浏览的消耗时间,然后计算出线程数,具体数据如下:
如上图所示,ECShop用户登录后随机购买商品单次消耗时间采用90%抽样为:40+56+50+100+43+47+106+71+84+75=672毫秒,如果加上模拟用户输入用户名及密码5秒、成功登录等待返回主页3秒、加入购物车5秒、编写收货信息5秒、编写快递及付款方式5秒、退出等待返回主页3秒等操作的思考时间,共计26秒计算,则单用户访问ECShop登录后随机购买商品的时间为0.672+5+3+5+5+5+3秒=26.672秒。
则代入上述公式,获得模拟2小时5万用户登录所需的线程数为:
Total_Thread=50000/(2*60*60/26.672)=185.18
因线程个数无法为小数,故取整为186个线程数,但该数据已经超过该业务要求100线程并发的基准,故以100个线程为基准,执行业务量测试。
根据上述分析数据,设计本次测试的四个场景:登录模块并发测试场景、登录模块业务量测试场景、随机购买并发测试场景,随机购买业务量测试场景。
登录业务并发基准测试场景用例
登录业务量基准测试场景用例
随机购买并发量基准测试场景用例
随机购买业务量基准测试场景用例