作为一个软件测试培训讲师,主要侧重在白盒测试培训方面,尤其对C++test比较擅长。最近发现市面上跳出一款Wings工具,据说1分钟可以自动生成100万行测试代码,性能方面大大超越C++ test,就想着抽空来实际的对比看看是不是在吹牛。这两天索性闭关好好研究一下。试用下来,发现Wings的创造团队真的是非常有才,逻辑非常清楚。我又掐指大致框算一下,整体研发工作量肯定不小,突破了很多技术天花板。所以,在开写之前,首先向Wings创造团队表达我真挚的敬意,毕竟在这样浮躁的社会环境下,能静下心来研究创新算法的人太少了。 长话短说,现在把Wings和我熟悉的C++ test做一个对比分析,如果有不对的地方欢迎大家拍砖,也借此机会转达想要认识Wings开发团队的诚恳。 首先Wings与c++ test都是用于生成单元测试驱动框架的工具。两者差异在于以下几点: (1) 基本普通类型,wings与c++ test生成用例大致相同,wings采用随机生成一组或者多组数值,而c++ test依据临界值生成固定的随机数。 例如:c++ test:生成五组测试函数,每个测试函数分别取最大值,最小值,-1,0,1 Wings:从json中取值,json中的值先随机生成,也可以用户自己修改。 例如: C++ test针对基本类型: Wings针对基本类型: (2) 数组类型 数组作为函数参数使用时,分为固定长度和非固定长度。
- 固定长度的数组 Wings能够分析出数组的长度,通过获取固定数组的长度,进行拷贝赋值。 C++ test通过不关心数组的具体长度为多少,统一初始化为1、16、256的大小,进行赋值。
- 非固定长度的数组 Wings首先给不定长度的数组,分配一定的长度,用户可修改数组长度的大小wings将依据具体修改的数组长度进行赋值。 C++ test通过不关心数组的具体长度为多少,统一初始化为1、16、256的大小,进行赋值。 例如:c++ test针对数组类型:
Wings指针数组类型: (1)一维数组类型 (2)二维数组类型 (3)三维数组类型 (3) 指针类型 Wings:json文件生成不定长度的数组,驱动运行的时候可以根据文件中用户设定的数组进行灵活的取值,二级指针也可以根据json中数组的长度进行灵活的赋值,三级指针暂时是取的二级指针的地址。 C++ test:一级指针是生成4种测试函数,前三种赋值长度分别为1,16,256的数组,最后一种指针赋值0;二级指针三级指针类似,取一级指针,二级指针的地址。 例如:c++ test针对指针类型: Wings针对指针类型: (1)一级指针 (2)二级指针 (4) 复杂类型(结构体类型) Wings:对结构体的处理相对比较合理,首先针对复杂类型,wings首先进行展开分析,将复杂类型分解为最简单的基本类型,然后依次进行赋值操。 C++ test:对结构体的处理很简单,就是直接将结构体定义一下,然后就传进去了,结构体指针或者数组是取上一级的地址或者初始化0。 例如:c++ test针对复杂类型: Wings针对复杂类型: 将复杂类型展开分解,依次进行赋值操作。 (5) 枚举类型 Wings:json中随机生成枚举类型里面对应的数值,然后驱动里面将该数值转化为枚举的值赋给函数参数。 C++ test:直接随机赋上枚举类型里面所有可能的情况。 例如:c++ test针对枚举类型 Wings针对枚举类型: (6) 联合体类型 Wings:对联合体的每一项都进行默认顺序赋值,用户可以根据需要实际选择赋值哪一个,联合体的值存在json中 C++ test:联合体赋值跟普通类型赋值一样,联合体里面的某一个变量赋值为最大,最小,-1,0,1这五种值,每种都测试一次 例如:c++ test针对联合体类型: 总结对比下来的结果就是这样:
wings | C++test | |
---|---|---|
基本类型 | 随机赋值 | 最大值,最小值,-1,0,1 |
数组类型 固定长度 | 依据具体长度赋值 | 全部按照1、16、256的长度进行赋值 |
非固定长度 | 依据需求动态赋值 | 全部按照1、16、256的长度进行赋值 |
指针类型 基本类型 | 动态获取长度,进行赋值 | 全部按照1、16、256的长度进行赋值 |
复杂类型 | 采用常规赋值方式 | 全部按照1、16、256的长度进行赋值 |
复杂类型 | Wings首先将复杂类型分解为简单的基本类型,然后依次进行赋值 | 不做处理,直接赋值为空 |
枚举类型 | 随机赋值 | 随机赋值 |
联合体类型 | 随机赋值 | 联合体里面的某一个变量赋值为最大,最小,-1,0,1这五种值 |
特殊类型 | 利用模板方式,特殊进行赋值处理 | 不做处理 |
Wings与c++ test优缺点对比: (1) 从灵活性方面:wings可以依据需求,修改赋值的次数,c++ test只能够一次性固定生成几组值。 (2) 从赋值方式:wings的赋值更加合理,c++ test只能够生成一个简单的单元框架,具体的赋值方式,大部分需要测试人员手动去修改驱动赋值,wings基本上不需要测试人员修改驱动代码,只需要依据需求,修改测试数据即可。 (3) 从企业适用性方面:企业应用一般软件复杂性高,因此c++ test由于无法面对复杂参数和复合类型以及嵌套类型产生用例,因为其企业适用性大打折扣,更多时候是产生了测试驱动的框架而已,而wings则可以面向任意复杂的应用,可完成全部单元测试用例驱动代码的生成。 不比不知道,一比吓一跳。Parasoft C++是美国厂商的产品,占据市场好多年,很多都是军工在用。Wings据说是全自研的,居然性能表现这么好。创新太难了,我也深有体会。衷心希望这样优秀的产品能有更好突破。毕竟这样用心和认真专研的团队,国内太少了。