四、自动化测试的持续集成(pytest+allure2+jenkins)
为什么要实现持续集成
回顾一下,先期我们所做的已经可以实现一个挺完整的测试过程了,从用例的管理到执行到报告的发送都可以实现,但目前还差个闭环。
目前我们的测试执行,是靠人手动执行的,无法实现无人值守,例如,我想实现,当项目工程代码被构建时,自动执行测试回归一下本次代码的改动有没有影响,如果只靠手动执行,就只能派个人等着构建结束了,极其不方便;此外,我的测试代码更新了,如果靠自己去上传,也很麻烦。
设想一下,如果实现了,我本地的测试代码更新之后,可以有个地方自动拉取我的代码,然后按我设定的时机(例如项目代码构建后,或者每天的固定时间)自动执行回归测试,测试完了自动给我发送测试结果,是不是更为理想的测试流程呢?而这也是持续集成的意义所在。
如果使用之前介绍的unittest的话,那么本章没有什么多余的介绍,只要配置好jenkins,然后新建一个执行用例的job就行了,不过本章打算介绍一个新的搭配方式,更方便,更简单。
安装pytest
pytest是python上的一个测试框架,兼容unittest的语法,因为之后的测试报告生成需要pytest的支持,所以我们要先装一下这个框架。
安装pytest:cmd界面输入命令:pip install pytest;
安装allure2
allure2是一个测试报告的框架,支持多种语言、测试框架,比起前面提到的HTMLTestRunner有着更加漂亮的界面,更加直观的图表统计,以及更为丰富的可添加信息。
allure2的界面:
image
安装allure2需要先配置java环境(推荐java8),以及安装pytest。
安装pytest_allure_adaptor:cmd界面输入命令:pip install pytest_allure_adaptor 。
这样allure2就安装好了。
在jenkins上使用pytest执行用例生成allure报告
jenkins是一个很著名的ci软件,这里就不多介绍了,安装完jenkins之后,我们需要先在jenkins上配置一下。
首先安装allure的插件,在jenkins---系统管理---管理插件---可选插件的列表里,勾选安装插件 Allure Jenkins Plugin 、HTML Publisher plugin;
然后进入jenkins---系统管理---全局工具配置,如下图配置好(不要完全照抄哦,参数是本地的话需要填你本地的路径):
image
image
再进入jenkins---系统管理---系统设置,拉到最下面,设置问题追踪,在Allure Report 下选择增加
Key: allure.issues.tracker.pattern Value: http://tracker.company.com/%s
如图配置:
image
最后进入jenkins---系统管理---脚本命令行,输入如下命令执行权限代码,点击执行
System.setProperty("hudson.model.DirectoryBrowserSupport.CSP", "default-src 'self'; script-src 'self' 'unsafe-inline' 'unsafe-eval'; style-src 'self' 'unsafe-inline';")
,如图配置:
image
这样我们在jenkins里的配置基本设置完了,接下来我们新建一个job来使用pytest运行我们的测试用例,并生成allure2的测试报告。
进入jenkins---新建item---输入你的任务名称---构建一个自由风格的软件项目,然后配置你的项目,在构建里输入命令:
python -m pytest 你测试用例的目录 --alluredir allure-result
再增加一个构建后操作,选择Allure Report,path里填上报告中间文件目录,也就是上面命令里的allure-result,再点击高级,设置最终生成报告的目录,在Report path里填上allure-report。
这里解释一下,allure是这样的,执行第一个命令:
python -m pytest 你测试用例的目录 --alluredir allure-result
的时候,其实是执行你的测试用例,并把结果生成一个中间文件,用于生成最终的报告,也就是说,这里生成的并不是最终的报告,allure-result只是中间文件的路径,这个路径需要和下面的构建后操作AllureReport里的Results的Path的值一致。
而Allure Report这个构建后操作其实是执行的另一个命令,大家在执行后的Console Output里也能看到这个命令,这里贴出来:
[Allure report] $ "C:\Program Files (x86)\Jenkins\tools\ru.yandex.qatools.allure.jenkins.tools.AllureCommandlineInstallation\allure\bin\allure.bat" generate "中间文件的路径" -c -o "最终报告的路径"
解释一下这个命令,C:\Program Files (x86)\Jenkins\tools\ru.yandex.qatools.allure.jenkins.tools.AllureCommandlineInstallation\allure\bin\allure.bat这个路径是allure转换报告工具的路径,这个工具你也可以单独下载,这里暂时不提;
generate是把中间文件生成最终报告的指令, -c -o 前面的是你中间文件的路径,之后的是最终生成报告的路径。
至此,我们的无人值守执行用例并自动生成报告就算实现了,我们可以给这个job设置执行时间点或者把这个job挂在别的构建项目下实现定点执行和定时机执行。
当然,还有最后一步,光是执行还不行,我们需要执行之后自动给我们发出通知,告诉我们执行的结果,这里用到的是jenkins的邮件通知插件Extended E-mail Notification,下面讲解一下怎么设置邮件通知。
首先我们安装这个插件,还是jenkins---系统管理---管理插件,然后在可选插件里搜索Extended E-mail Notification并安装。
安装完之后,进入jenkins---系统管理---系统设置,先找到Jenkins Location栏,设置系统管理员邮件地址为你的发件邮箱,然后找到Extended E-mail Notification栏,这里我以QQ邮箱举例设置,
先设置SMTP server为 smtp.qq.com;
Default user E-mail suffix填 @qq.com;
然后点开高级,勾选Use SMTP Authentication;
User Name填你的发件地址,和管理员地址保持一致;
Password填你的QQ邮箱的smtp服务授权码,而不是你的QQ密码,不知道的话自己去邮箱的设置页里找;
Use SSL勾选;
SMTP port填465;
下面的Default Recipients填你的收件地址;
Default Content内容稍微改一下,改为:
$PROJECT_NAME - Build # $BUILD_NUMBER - $BUILD_STATUS:
Check console output at ${BUILD_URL}allure/ to view the results.
下面的Enable Debug Mode记得勾选,方便发送失败看日志,再点开Default Triggers设置你邮件的发送时机,到这里插件的设置就完毕了。
然后回到你上面job的配置页面,增加一个构建后操作Editable E-mail Notification即可。
现在,项目构建完之后就会自动把报告的地址发送给你预定的邮箱。
邮件内容:
image
参考资料
- Python + Allure(报告)+ Jenkins(持续集成)接口自动化测试环境搭建
- allure--开源 report 框架阶段性总结介绍
- Allure2-开源 report 框架介绍 (Allure+Jenkins)
- Allure Report
- Jenkins 邮件配置 (使用 Jenkins Email Extension Plugin)