测试报告在项目中是至关重要的角色,一个好的测试报告:
- 可以体现测试人员的工作量;
- 开发人员可以从测试报告中了解缺陷的情况;
- 测试经理可以从测试报告中看到测试人员的执行情况及测试用例的覆盖率;
- 项目负责人可以通过测试报告查看整个项目还余留多少问题,此次版本是否测试通过;
所以打造一个美观、一目了然的测试报告,清晰的反应质量问题,并提供给相关人员了解项目的整体状态,是非常必要的。
Pytest 结合 Allure 生成测试报告
Allure 框架是一种灵活的、轻量级、支持多语言测试报告工具,它不仅能够以简洁的 Web 报告形式显示已测试的内容,而且允许参与开发过程的每个人从测试的日常执行中提取最大限度的有用信息。同时支持多种语言包括 Java、Python、JavaScript、Ruby、Groovy、PHP、.Net、 Scala。
安装
Mac 可以使用 brew 安装 allure,安装命令如下:
brew install allure
其他操作系统请参考:
https://docs.qameta.io/allure/#_installing_a_commandline
与 pytest 结合需要安装 allure-pytest 插件:
pip install allure-pytest
查看 Allure 版本:
allure --version
运行
第一步:在 pytest 执行测试的时候,指定参数 --alluredir
选项及结果数据保存的目录,代码如下:
pytest --alluredir=tmp/my_allure_results
tmp/my_allure_results
中保存了本次测试的结果数据。
第二步:打开报告,需要启动 allure 服务,在 terminal 中输入 allure serve [path/to/allure_results]
,代码如下:
allure serve path/to/allure_results
也可以使用 allure generate
生成 HTML 格式的测试结果报告,并使用 allure open
来打开报告。
allure generate ./result/ -o ./report/ --clean
上面的命令将 ./result/
目录下的测试数据生成HTML测试报告到 ./report
路径下,-–clean
选项目的是先清空测试报告目录,再生成新的测试报告,然后使用下面的命令打开报告。
allure open -h 127.0.0.1 -p 8883 ./report/
上面这个命令则会启动一个 Web 服务将已经生成的测试报告打开。打开生成的测试报告,在默认的浏览器打开测试报告,报告如下:
上面的测试报告首页中展示了此次测试的测试用例数量以及成功用例、失败用例、跳过用例的比例、测试环境、SUITES、FEATURES BY STORIES 等基本信息。当与 Jenkins 做了持续置成后,TREND 区域还将显示,历次测试的通过情况。
首页的左边栏,还从不同的维度展示测试报告的其他信息。重点页面介绍:
- Behaviors 页面,按照 FEATURES 和 STORIES 展示测试用例的执行结果;
- Suites 页面,Allure 测试报告将每一个测试脚本,作为一个 Suite。在首页里点击 Suites 区域内的任何一条 Suite,都会进入 Suites 页面;
- Graphs 页面,展示了此次测试结果的统计信息,比如测试用例执行结果状态、测试用例重要等级分布、测试用例执行时间分布等;
- 测试用例详情页面,在 Suites 页面上点击任何一条测试用例,Suites 页面的右侧将展示这条用例的详细执行情况。在这个页面可以看到测试用例的每个步骤,以及每个步骤的执行结果,包括步骤里面添加的链接、图片、网页片段或者视频作为重要信息的补充。在这里可以一目了在的看到用例失败的原因。