测试改进

在 TFS 2017 中添加了关键测试改进。

https://v.qq.com/x/page/r0348kzpzhw.html

更新后的测试结果存储架构

在此版本中,我们会将测试结果项目迁移到新的紧凑且高效的存储架构中。 考虑到测试结果是最耗 TFS 数据库中存储空间的内容之一,我们希望转换此功能,降低其在 TFS 数据库的存储占用。 对于从早期版本的 TFS 升级的客户,测试结果将会在 TFS 升级期间迁移到新架构。 此升级可能会导致升级时间较长,具体取决于你的数据库中存在多少测试结果数据。 建议配置测试保留策略,并等待策略生效,降低测试结果使用的存储空间,这样 TFS 升级会更快。 在安装 TFS 后,但在升级 TFS 实例前,你可以使用 TFSConfig.exe 工具 来清理测试结果。 有关详细信息,请参阅 TFSConfig.exe 帮助。 如果你不能灵活地配置测试保留或在升级前清理测试结果,请确保对升级窗口进行相应的计划。 有关配置测试保留策略的更多示例,请参阅 Team Foundation Server 2015 的测试结果数据保留

测试中心改进

通过在测试中心内添加新的“配置”选项卡,我们已将测试配置管理引入 Web UI。 现在,你可以从测试中心内创建和管理测试配置及测试配置变量。

TFS2017新特性 - 测试改进(视频)_java

有关详细信息,请参阅创建配置和配置变量

将配置分配给测试计划、测试套件和测试用例

分配配置变得更简单 - 可以直接从测试中心内将测试配置分配给测试计划、测试套件或测试用例。 右键单击某个项目,选择“将配置分配到…”,即已完成并开始运行。 你还可以通过测试中心里的“配置”进行筛选。

TFS2017新特性 - 测试改进(视频)_java_02

TFS2017新特性 - 测试改进(视频)_java_03

有关详细信息,请参阅将配置分配到测试计划和测试套件

查看“测试结果”窗格中的测试计划/测试套件列

我们已向“测试结果”窗格添加了新列,向你显示将根据其执行测试结果的测试计划和测试套件。 当深化了解你的测试结果时,这些列提供急需的上下文。

TFS2017新特性 - 测试改进(视频)_java_04

测试中心里和卡片上的测试的顺序

现在,你可以从测试中心内对手动测试进行排序,而不考虑包含它们的套件的类型:静态、基于要求的或基于查询的套件。 你可以简单地拖放一个或多个测试或使用上下文菜单来对测试进行重新排序。 完成排序后,可以按“顺序”字段对测试进行排序,然后从 Web 运行程序以该顺序运行它们。 你也可以直接在看板上的用户情景卡上对测试进行排序。 这将完成手动测试下其中一个长时间挂起的 User Voice 项(具有 495 票)。

TFS2017新特性 - 测试改进(视频)_java_05

TFS2017新特性 - 测试改进(视频)_java_06

对测试中心的测试套件排序

测试团队现在可以根据他们的需要对测试套件进行排序,而在推出此功能以前,套件只能按字母顺序排序。 现在,通过使用测试中心的拖/放功能,套件可以在对等套件间重新排序或移动到层次结构中的另一套件。 这解决了手动测试/测试用例管理下的 user voice 项。

TFS2017新特性 - 测试改进(视频)_java_07

作为分配测试人员的一部分的搜索用户功能

作为跨不同中心的新标识选取器控件推出的一部分,在测试中心中,我们也启用了在向测试人员分配一个或多个测试时搜索用户的选项。 对于拥有较大的团队成员数量,但上下文菜单仅显示有限的条目集的方案来说,此功能非常有用。

TFS2017新特性 - 测试改进(视频)_java_08

TFS2017新特性 - 测试改进(视频)_java_09

选取要进行测试的生成

现在,你可以选取想要进行测试的“生成”,然后使用测试中心的“使用选项运行”来启动 Web 运行程序。 运行过程中报告的任何 bug 将自动与所选的生成关联。 此外,针对该特定生成发布测试结果。

TFS2017新特性 - 测试改进(视频)_java_10

使用数据收集器从测试中心启动 Microsoft 测试运行程序客户端

现在,可以选择你的数据收集器和生成以与测试运行相关联,并从测试中心以高性能方式启动 Microsoft 测试运行程序 2017(客户端),而无需在 Microsoft 测试管理器客户端中对其配置。 Microsoft 测试运行程序将在不打开整个 Microsoft 测试管理器 shell 的情况下启动,并在测试执行完成后关闭。

TFS2017新特性 - 测试改进(视频)_java_11

有关详细信息,请参阅为桌面应用运行测试

为跨不同测试套件的测试配置测试结果

我们现在已增加了为在同一测试计划下的不同测试套件之间共享的测试配置测试结果行为的功能。 如果选择了此选项并设置了某个测试的结果(从测试中心、Web 运行程序、Microsoft 测试运行程序或从看板上的卡中将其标记为通过/失败/已阻止),则该结果将传播给位于同一测试计划下不同测试套件中的所有其他测试,且配置相同。 用户可以从测试中心测试的测试计划上下文菜单或从看板的测试页面,在通用设置配置对话框中,为特定测试计划设置“配置测试结果”选项。 此选项默认关闭,需要显式启用它,才能使之生效。

TFS2017新特性 - 测试改进(视频)_java_12

验证工作项的 bug

现在可通过重新运行识别 bug 的测试来验证 bug。 可从 bug 工作项窗体上下文菜单调用“验证”选项在 Web 运行程序中启动相关测试用例。 使用 Web 运行程序执行验证,并直接在 Web 运行程序中更新 bug 工作项。

TFS2017新特性 - 测试改进(视频)_java_13

测试计划的 REST API/测试套件克隆

我们已添加了用于克隆测试计划和测试套件的 REST API。 你可以在我们的 Team Services 集成网站上的测试管理部分下找到它们

看板卡中的测试进度

现在可以直接从看板上的情景添加、查看测试用例并与其进行交互。 使用新“添加测试”菜单选项创建链接的测试用例,然后在操作进行时直接从卡片监视状态。

TFS2017新特性 - 测试改进(视频)_java_14

使用这项新功能,现在可以直接从看板上的卡片执行以下操作:

  • 添加测试。

  • 打开测试。

  • 通过从一个用户情景拖/放到另一个来重新设置测试的父级。

  • 使用 CTRL+ 拖/放将同一测试复制到另一个用户情景(适用于同一测试用例测试多个用户情景的方案)。

  • 通过快速将其标记为通过/失败/等更新测试状态。

  • 通过在 Web 测试运行程序中启动该测试来运行它,从中你可以使各个步骤通过或失败、归档 bug 等。

  • 查看汇总状态摘要,该状态指示已通过的测试数量和该情景剩余的测试数量。

如果需要高级测试管理功能(比如分配测试程序、分配配置、集中的参数、导出测试结果等),你可以切换到测试中心,开始使用已自动为你创建的默认测试计划/基于要求的套件。 有关详细信息,请参阅添加、运行和更新内联测试

从卡片遍历至测试计划/测试套件

你现在可以在测试创建的位置,直接从看板上的卡片轻松地遍历至基础测试计划/测试套件。 单击此链接会将你转到测试中心,打开正确的测试计划,并选择控制这些内联测试的特定套件。

TFS2017新特性 - 测试改进(视频)_java_15

看板的通用设置配置中的测试页

现在,你可以使用看板上的通用设置配置对话框中的新测试页在内联测试创建的位置控制测试计划。 在此之前,卡片上创建的任何测试会被自动添加到新创建的测试计划(如果不存在与卡片的区域和迭代路径相匹配的测试计划)。 现在,你可以通过对你所选的现有测试计划进行配置来替代此行为(然后,所有测试将被添加到之后所选的测试计划)。 请注意,仅当测试批注打开时才启用此功能。

TFS2017新特性 - 测试改进(视频)_java_16

Web 运行程序增强功能

在手动测试过程中添加测试步骤附件

我们已增强了 Web 测试运行程序,使你能够在手动测试过程中添加测试步骤附件。 这些步骤结果附件会自动显示在你在会话中归档的任意 Bug 内,并随后显示在“测试结果”窗格中。

TFS2017新特性 - 测试改进(视频)_java_17

Web 运行程序中的屏幕截图、屏幕录制、图像操作日志和系统信息支持(使用 Chrome 浏览器)

使用 Chrome 时,在 Web 运行程序中,现可以截取屏幕截图并对其进行内联批注。 还可以捕获不只 Web 应用,还有桌面应用的点播屏幕录制。 会自动将这些屏幕截图和屏幕录制添加到当前测试步骤。 除了屏幕截图和屏幕录制以外,现在还可以从你的 Web 应用捕获点播图像操作日志。 需要在浏览器窗口上指定捕获操作的位置 - 该窗口(该窗口中打开的任何现有或新选项卡)上的所有操作或你启动的任何新的子浏览器窗口将自动被捕获,并与在 Web 运行程序中测试的测试步骤相关。 这些屏幕截图、屏幕录制和图像操作日志将随后被添加到运行期间归档的任何 bug,并被附加到当前测试结果。 同样,系统信息数据将作为从 Web 运行程序归档的所有 bug 的一部分自动进行捕获和包含。 所有这些都利用了基于 Chrome 的测试和反馈扩展中的功能。

TFS2017新特性 - 测试改进(视频)_java_18

有关详细信息,请参阅在测试过程中收集诊断数据

作为子级归档的 bug - Web 运行程序/测试和反馈扩展

在 Web 运行程序中运行测试时,无论是从板上的卡片启动还是从测试中心内基于要求的套件启动,任何归档的新 Bug 现在都将被自动创建为该用户情景的子级。 同样,如果要从探索测试扩展浏览用户情景,任何归档的新 Bug 也将被创建为该用户情景的子级。 这一新行为使情景和 Bug 中的可跟踪性更简单。 只有在将“常见设置配置”页中的“处理 bug”设置设为“Bug 不出现在积压工作或板上”或“Bug 出现在带有任务的积压工作和板上”时,才适用。 对于“处理 bug”选项的所有其他设置和在某些其他情况下(例如添加到已有定义的父级的现有 bug),将改为创建相关链接。

从 Web 运行程序更新现有 bug

除了从 Web 运行程序创建新 bug,现在还可以更新现有 bug。 收集所有诊断数据后,重现步骤和现有会话中的可跟踪性链接将自动添加到现有 bug。

TFS2017新特性 - 测试改进(视频)_java_19

测试和反馈扩展 - 增强

可从 Visual Studio Marketplace 安装基于浏览器的测试和反馈扩展。 它支持 Visual Studio Team Services 和 Team Foundation Server(2015 或更高版本)。

探索工作项。

对特定工作项执行探索测试。 这样,便可将选定的工作项与正在进行的测试会话相关联,并从扩展内部查看验收条件和说明。 这样做还可以在你存档的 bug 或任务与所选工作项之间实现端到端可跟踪性。 可直接从工作项或从扩展内部探索工作项:

• 直接从工作项探索。 使用上下文菜单中的“执行探索测试”选项直接从产品内部为特定工作项启动探索测试会话。 我们已在所有卡片、网格上和测试中心内添加了入口点。

• 从扩展内部探索。 从 XT 会话内部搜索工作项,然后将其与正在进行的会话相关联。

TFS2017新特性 - 测试改进(视频)_java_20

TFS2017新特性 - 测试改进(视频)_java_21

有关详细信息,请参阅使用测试和反馈扩展探索工作项

使用测试和反馈捕获图像操作日志、屏幕录制和网页加载数据

图像操作日志:扩展还为你提供了新选项,只需单击一下即可自动添加指向 bug 的步骤。 选择“包括图像操作日志”选项来捕获鼠标、键盘和触控操作,并将相应的文本和图像直接添加到 bug 或任务中。

屏幕录制(即视频):还可以使用扩展捕获点播屏幕录制。 这些屏幕录制不仅可以从 Web 应用捕获,还可以从你的桌面应用捕获。 可使用扩展的“选项”页将扩展配置为自动停止屏幕录制并将其附加到正在归档的 bug。

网页加载数据:我们已向扩展添加了新的背景捕获功能 - “网页加载”数据的捕获。 “图像操作日志”在背景中以图像形式捕获你在探索 Web 应用时执行的操作,“页面加载”功能自动捕获网页的详细信息以完成加载操作。 你现在可以客观地量化 bug 中的慢速,而无需以依赖网页加载的主观/感知慢速。 报告 bug 后,除平铺视图外,一份详细的报表也会附加到 bug,可以帮助开发人员进行调查的初始设置。

TFS2017新特性 - 测试改进(视频)_java_22

基于图像操作日志数据创建测试用例

现在可以在探索会话期间创建测试用例,在其中会自动为你填充包含图像的测试步骤。 同步测试设计和测试执行是真正探索测试的基础,而这项新功能使之成为现实。 可以编辑捕获的文本、添加所需的结果、取消选中不相关的行并将其保存用于即将到来的测试轮次/运行。

TFS2017新特性 - 测试改进(视频)_java_23

有关详细信息,请参阅创建基于图像操作日志数据的测试用例

探索测试会话见解

现在可以查看给定时间段内使用测试和反馈扩展创建的已完成探索测试会话(在团队或个人级别)。 通过单击 Web 访问中测试中心组内的运行中心中的“最近使用的探索会话”链接可以转到此见解页面。 此新视图可帮助你获得有意义的见解,包括:

  • 显示所浏览工作项的分解、创建的工作项、会话所有者,以及在这些会话上所花费的总时间的摘要视图。

  • 可通过浏览的工作项、会话或会话所有者透视或者通过三者均不可透视的分组依据视图。 对于任何透视,可以查看创建的所有工作项(Bug、任务、测试用例)的列表或将列表的范围缩小到特定工作项类型。

  • 根据分组依据视图中所选内容显示信息的详细信息窗格视图。 对于选定的透视行(假设浏览的工作项),你可以在详细信息窗格中查看其摘要信息,如总会话数、在这些会话上所花费的总时间、浏览它的会话所有者、针对其创建的 Bug/任务/测试用例,以及它们的状态和优先级。 对于选定的工作项行,可以查看其工作项窗体内联并视情况进行相应更改。

TFS2017新特性 - 测试改进(视频)_java_24

有关详细信息,请参阅获取跨探索测试会话的见解

探索测试会话:查看未探索的工作项

除了在“最近探索会话”视图中查看所有探索的工作项的详细信息(按给定的数据范围的所有/我的会话筛选),我们现在还在同一视图中添加了查看所有探索的工作项的列表。 通过为你感兴趣的工作项指定共享查询开始,会话页显示来自查询的所有工作项的列表,并对摘要部分中的已探索和未探索项进行了细分。 此外,使用数据透视的“未探索工作项”组可以查看尚未探索的项目列表。 对于跟踪尚未探索或尚未进行 bug 大扫除的情景数量,此功能非常有用。

TFS2017新特性 - 测试改进(视频)_java_25

端到端利益干系人反馈流
请求反馈

具有基本访问级别的用户现在可以使用工作项菜单中的“请求反馈”选项直接从利益干系人针对正在进行或已完成的功能/情景请求反馈。 这将打开请求反馈窗体,可在其中选择要获得其反馈的利益干系人并提供(可选)一组简单的说明,提示希望输入的产品区域。 这会将个人邮件和提供的说明(如有)一起发送给所选利益干系人。

TFS2017新特性 - 测试改进(视频)_java_26

有关详细信息,请参阅使用测试和反馈扩展请求利益干系人反馈

提供反馈

利益干系人可通过单击所接收邮件中的“提供反馈”链接来回应反馈请求,其将自动使用所选反馈请求(如果尚未安装,将提示安装扩展)配置测试和反馈扩展(以前称为探索测试扩展)。 然后,利益干系人可以使用该扩展的完整捕获功能来捕获其发现和以反馈响应/bug/任务工作项的形式来提交反馈意见。 此外,利益干系人可以导航到“反馈请求”页在一个位置查看接收到的所有反馈请求。 从列表中,可选择想要对其提供反馈的反馈请求、通过将其标记为完成或拒绝它们来管理“挂起的反馈请求”,还可通过单击所需单选按钮在不同类型的反馈请求之间切换。

TFS2017新特性 - 测试改进(视频)_java_27

TFS2017新特性 - 测试改进(视频)_java_28

有关详细信息,请参阅使用测试和反馈扩展提供反馈

自发反馈

除了上述经请求的流之外,利益干系人还可使用扩展来提供自发反馈。 他们可以打开扩展、在“连接设置”页中选择“已连接”模式并连接到帐户和他们希望提供反馈的项目/团队。 然后,他们可以使用该扩展来捕获其发现和以反馈响应/bug/任务工作项的形式来提交反馈意见。

TFS2017新特性 - 测试改进(视频)_java_29

有关详细信息,请参阅使用测试和反馈扩展提供自发反馈

自动测试改进

生成/发布摘要中“测试”选项卡中的控制台日志和测试持续时间

提取在 trx 文件中捕获的测试结果控制台日志,并将其作为测试结果附件发布。 可选择在“测试”选项卡中预览它们,且无需下载 trx 文件来查看日志。

TFS2017新特性 - 测试改进(视频)_java_30

生成的测试趋势小组件

我们向小组件库添加了新的“测试结果趋势”小组件。 使用此小组件可将生成定义的最多 30 个最新生成的测试结果趋势图表添加到仪表板。 小组件配置选项可帮助你自定义图表以包含透视(如已通过测试数、未通过测试数、总测试数、通过百分比和测试持续时间)。

TFS2017新特性 - 测试改进(视频)_java_31

发布环境的测试状态摘要

我们建议你使用发布环境来部署应用程序并对其运行测试。 在此版本中,我们在发布摘要页的环境部分中集成了发布环境的测试通过率。 如屏幕截图中所示,若某个环境失败,你可以通过查看测试列迅速推断该故障是否由失败的测试导致。 你可以在通过率上单击以导航到“测试”选项卡并调查该环境的失败测试。

TFS2017新特性 - 测试改进(视频)_java_32

持续测试的可跟踪性

用户现在可以直接在他们的仪表板上跟踪其要求的质量。 针对我们计划的测试用户,我们已有要求质量的解决方案,并且我们将其带给我们遵循持续测试的用户。 用户能够直接链接到自动测试,然后使用仪表板小组件跟踪你想要跟踪的要求质量,并从生成或发布提取质量数据。

TFS2017新特性 - 测试改进(视频)_java_33

远程测试 - 基于计算机数量分布测试

我们从程序集内启用测试以分布给使用运行功能测试任务的远程计算机。 在 TFS 2015 中,你仅能在程序集级别分布测试。 可使用以下任务中的复选框来启用此功能。

TFS2017新特性 - 测试改进(视频)_java_34

对 SCVMM 和 VMWare 的自动测试

用户可以使用 Azure 在云中或使用 SCVMM 或 VMWare 在本地动态设置测试计算机,并使用这些计算机以分布式方式运行自己的测试。 用户可以使用其中一种计算机设置任务(Azure、SCVMM 或 VMWare)后接“运行功能测试”任务来运行测试。

Maven 和 Gradle 任务中的 SonarQube 分析

你现在可以通过检查“运行 SonarQube 分析”,并提供终结点、SonarQube 项目名称、项目密钥和版本来触发 Maven 和 Gradle 生成任务中的 SonarQube 分析。

TFS2017新特性 - 测试改进(视频)_java_35

现在还将获得 SonarQube 项目上的链接。 可以请求完整的分析,以查看质量要求详细信息;如果不符合这些要求,则可以选择中断生成。

TFS2017新特性 - 测试改进(视频)_java_36

有关详细信息,请参阅 Gradle 生成任务现在支持 SonarQube 分析


请关注微信公众号 【devopshub】,获取更多关于DevOps研发运维一体化的信息

TFS2017新特性 - 测试改进(视频)_java_37