介绍了如何使用模型测试工具NModel自动生成测试用例。

在前面的网站自动化系统里面,大概聊了下如何结合Selenium生成的代码和VSTT创建一个简单的自动化系统。虽然在文章网站测试自动化系统—基于Selenium和VSTT、数据驱动测试在测试代码中硬编码测试数据里,我讲了一些封装代码以及测试数据的技巧,规避后续开发过程中,程序员修改代码时,对测试程序带来的影响。但是每次程序员做出大的改动的时候,测试人员还是要修改大量的测试代码,更糟糕的是,每次大的改动,又涉及到测试覆盖是否足够的问题。为了规避类似的风险,以及帮助测试人员创建尽量多的测试用例,有些人提出了模型驱动测试的概念。

模型驱动测试的想法和飞机的风洞测试差不多,即根据功能需求说明书,对要测试的程序先建立一个模型,然后有另外一个程序分析这个模型,产生测试用例。就好比为了验证新飞机的气动布局,不可能建一个全比例的飞机,去测试它的布局是否合理;而是建立一个小的飞机模型,模型的气动布局和整机的布局是一致的。飞机模型建好以后,才放到风洞里面测试一下。

市面上已经有几个做模型驱动测试的工具了,这里我用的是NModel,本来想拿SpecExplorer尝一下鲜的,但最后发现这个想法太贵了—需要安装了Visual Studio 2010才能使用“免费”的SpecExplorer。


在NModel中,测试人员使用C#创建程序的模型,模型创建的原理是:

1.         程序是用来处理数据的,数据也可以称作状态(State);

2.         用户通过程序提供的操作界面来处理数据,操作界面也可以称作动作(Action);

3.         数据的更动 又反过来影响一些动作是否可以执行。

比如说,使用Word的时候,刚启动程序时是没有任何数据的,这个时候有些动作,例如“保存”是禁用的。当用户通过“新建”这个动作创建了一个新文件(数据),这个新文件反过来激活“保存”动作。

因此当测试人员建模时,他要做的工作就是将程序的动作和状态抽象出来,并且描述动作和状态相互影响的过程。

来看一个例子,假如现在要测试一个用户登录程序,登录界面就是一个输入用户名和密码的文本框,而程序支持的用户有两种:管理员和授权用户。

先来做第一步,将动作和状态抽象出来,程序的状态应该包括:

1.         程序状态:运行状态和未运行状态。

2.         用户类型:管理员和授权用户。

3.         密码:正确的密码和错误的密码。

4.         登录状态:成功登录和登录失败。

动作应该包括:

1.         登录:即用户在界面上输入用户名和密码。

2.         注销。

第二步,编写C# 程序建模。

状态已经抽象出来了,在NModel里面,抽象出来的状态一般是用枚举值表示的。

publicenum ModeState
 
publicenum User
 
publicenum Password
 
publicenum LoginStatus

 

接下来模拟动作:

Feature("Login")]
public static class Login
    {
public static Map<User, LoginStatus> ActiveLoginRequests = Map<User, LoginStatus>.EmptyMap;
 
Requirement("Send username and password to the server to log in.")]
Action]
public static void Login_Start(User user, Password
        {
if (password == Password.Correct)
LoginStatus.Success);
else
LoginStatus.Failure);
        }
 
public static bool
        {
return WebSiteModel.State == ModeState.Running;
        }
 
public static bool Login_StartEnabled(User
        {
return
WebSiteModel.UsersLoggedIn.Contains(user);
        }
 
Requirement("It should be possible to log out from any page")]
Action]
public static void Logout(User
        {
WebSiteModel.UsersLoggedIn = WebSiteModel.UsersLoggedIn.Remove(user);
        }
public static bool
        {
return WebSiteModel.State == ModeState.Running;
        }
 
public static bool LogoutEnabled(User
        {
return WebSiteModel.UsersLoggedIn.Contains(user);
        }
    }

 

上面的代码稍微解释一下,标注了[Action]的函数,就是抽象出来的程序所支持的动作,例如Logout;而在动作函数名后面加上Enabled的函数,是NModel用来判定指定的动作是否可以执行,例如LogoutEnabled函数。

Feature属性,我们现在不讲,NModel用这个属性来标识一个大的功能。

另外要注意的是,在NModel里面,集合Set、Map是不可变的,即创建好了以后,就不能从里面删除和添加新元素了。每一次修改都会创建一个新的Set、Map实例。所以你会看到类似下面的用法:

ActiveLoginRequests = ActiveLoginRequests.Add(user, LoginStatus.Success);

最后,你需要采用一个工厂模式的方式,告诉NModel分析哪一个Feature,创建测试用例:

public class WebSiteModel
    {
public static ModeState State = ModeState.Initializing;
 
public static ModelProgram
        {
return new LibraryModelProgram(typeof(WebSiteModel).Assembly,
"TrainMode", new Set<string>("Login"));
        }
 
Action]
public static void
        {
ModeState.Running;
        }
 
public static bool InitializeEnabled() { return State == ModeState.Initializing; }
 
public static Set<User> UsersLoggedIn = Set<User>.EmptySet;
    }

 

编译通过以后,先用NModel提供的图形化模型验证工具查看一下生成的模型是否正确。NModel自带的mpv.exe是用来验证模型的,但是 mpv.exe使用到一个图形布局程序GLEE需要单独下载,下载后,将Microsoft.GLEE.*.dll拷贝到NModel的bin文件夹里,就可以执行mpv.exe了。

使用下面的命令查看生成的模型:

"d:\Program Files\NModel\bin\mpv.exe" /r:TrainMode.dll TrainMode.WebSiteModel.CreateLoginModel

生成的模型应该如下图所示:

自动化生成gtest测试用例 自动生成测试用例 代码_测试用例

下图是放大后的结果:

自动化生成gtest测试用例 自动生成测试用例 代码_测试用例_02

如果查看模型以后,觉得没有问题,就可以生成测试用例了,这里先生成手工的测试用例,下一篇再介绍如何生成自动化的测试用例。

"d:\Program Files\NModel\bin\otg.exe" /r:TrainMode.dll /f:scenario.txt TrainMode.WebSiteModel.CreateLoginModel

下面是生成的测试用例:

TestSuite(
    TestCase(
        Initialize(),
        Login_Start(User("Authenticated"), Password("Correct")),
        Login_Start(User("Administrator"), Password("Incorrect")),
        Logout(User("Authenticated"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Administrator"), Password("Correct")),
        Login_Start(User("Authenticated"), Password("Correct")),
        Logout(User("Administrator")),
        Logout(User("Authenticated"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Administrator"), Password("Incorrect")),
        Login_Start(User("Authenticated"), Password("Incorrect"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Authenticated"), Password("Incorrect")),
        Login_Start(User("Administrator"), Password("Correct")),
        Logout(User("Administrator"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Administrator"), Password("Incorrect")),
        Login_Start(User("Authenticated"), Password("Correct"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Administrator"), Password("Correct")),
        Login_Start(User("Authenticated"), Password("Incorrect"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Administrator"), Password("Correct")),
        Logout(User("Administrator")),
        Login_Start(User("Authenticated"), Password("Correct"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Authenticated"), Password("Correct")),
        Logout(User("Authenticated")),
        Login_Start(User("Administrator"), Password("Correct"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Administrator"), Password("Correct")),
        Logout(User("Administrator")),
        Login_Start(User("Authenticated"), Password("Incorrect"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Authenticated"), Password("Correct")),
        Login_Start(User("Administrator"), Password("Correct")),
        Logout(User("Authenticated")),
        Logout(User("Administrator"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Authenticated"), Password("Incorrect")),
        Login_Start(User("Administrator"), Password("Incorrect"))
    ),
    TestCase(
        Initialize(),
        Login_Start(User("Authenticated"), Password("Correct")),
        Logout(User("Authenticated")),
        Login_Start(User("Administrator"), Password("Incorrect"))
    )
)