黑盒测试又叫功能测试、数据驱动测试或基于需求规格说明书的功能测试。该类测试注重于测试软件的功能性需求。把测试对象看作一个黑盒子,完全不考虑程序内部的逻辑结构和内部特性,只依据程序的《需求规格说明书》,检查程序的功能是否符合它的功能说明。测试者无需了解程序代码的内部构造,完全模拟软件产品的最终用户使用该软件,检查软件产品是否达到了用户的需求。黑盒测试方法能更好、更真实地从用户角度来考察被测系统的功能性需求实现情况。在软件测试的各个阶段,如单元测试、集成测试、系统测试及验收测试等阶段中,黑盒测试都发挥着重要作用,尤其在系统测试和确认测试中,其作用是其他测试方法无法取代的。

“黑盒”测试模型:站在使用软件或程序的角度,从输入数据与输出数据的对应关系进行测试。

java黑盒测试工具 黑盒测试功能测试_java黑盒测试工具

作用

如果外部特性本身设计有问题或规格说明的规定有误,黑盒测试是发现不了的。因此,黑盒测试不能代替白盒测试。黑盒测试着重测试软件的功能需求,是在程序接口上进行的测试,主要是为了发现以下错误:

  • 功能错误或功能遗漏;
  • 接口错误或界面错误;
  • 性能错误;
  • 是否能够正确地接收输入数据并产生正确的输出结果;(输入、输出)
  • 是否有数据结构错误或外部信息访问错误;
  • 是否有程序初始化和终止方面的错误。

主要内容

(1)接受性测试。
黑盒测试是从软件的接口接受测试输出结果,具有接受性测试的特点。

(2)α/β测试。
测试是项目组内的成员对被测软件进行的测试,α/β测试是由项目组外的人员参加的测试。α/β测试也适合于黑盒测试。也就是说,当测试发现错误后在开发人员修改的同时,项目经理也会对产品计划做出相应的调整,产品特征不断地被修改。

(3)菜单/帮助测试。
在软件测试过程中,开发人员将修复测试人员发现的错误,而且对软件的有些功能进行修改,同时项目经理也将根据情况调整软件的特性,因而在软件开发和测试的过程中,所有的功能都可以进行调整。因此,在软件产品开发的最后阶段,文档里发现的问题往往最多。

(4)发行测试。
在正式发行前,产品要经过非常仔细的测试。除了专门的测试人员外,还需要几千个甚至几十万其他用户与合作者通过使用来对产品进行测试。然后将错误信息反馈到技术部门到了发行测试时,如果出现非改不可的错误,就必须推迟软件的发行,在推迟时间内需要重新对软件产品进行全面的测试,将耗费大量的时间、人力和物力。

(5)回归测试。
在此阶段,首先要检查以前找到的错误是否已经更正了。回归测试可使已更正的错误不再重现,并且不会产生新的错误。

(6)RTM测试。
RTM测试是指在产品发行阶段所进行的测试。在这一测试阶段,每一个错误都需要经过高端人员同意才能更正。因为这时候修改软件非常容易产生其他的错误,所以只有那种非修复不可的错误才将允许进行修改。如果在发行阶段软件还有许多严重错误的话,就不能按时发布。

标准

黑盒测试中设计的测试用例集需要满足以下两个标准:

  • 所设计出的测试用例能够减少为达到合理测试所需要设计的测试用例的总数。
  • 所设计出的测试用例能够告诉我们,是否存在某些类型的错误,而不是仅仅指出与特定测试有关的错误是否存在。

测试方法

1、等价类划分
等价类划分的办法是把程序的输入域划分成若干部分(子集),然后从每个部分中选取少数代表性数据作为测试用例。每一类的代表性数据在测试中的作用等价于这一类中的其他值,即:如果某一类中的一个例子发现错误,那这一等价类中的其他例子也能发现同样的错误。

等价类是指某个输入域的子集合。在该子集合中,各个输入数据对于揭露程序中的错误都是等效的,并合理地假定:测试某等价类的代表值就等于对这一类其它值的测试。因此,可以把全部输入数据合理划分为若干等价类,在每一个等价类中取一个数据作为测试的输入条件,就可以用少量代表性的测试数据,取得较好的测试结果。

等价类划分可有两种不同的情况:有效等价类和无效等价类。
有效等价类:是指对于程序的规格说明来说是合理的,有意义的输入数据构成的集合。利用有效等价类可检验程序是否实现了规格说明中所规定的功能和性能。
无效等价类:与有效等价类的定义恰巧相反。

使用等价类划分法设计测试方案首先要研究程序(软件)的功能说明,再划分输入数据的等价类,根据划分的等价类设计测试用例。测试用例设计满足以下原则:

1、为每一个等价类规定一个唯一的编号;
2、设计一个新的测试用例,使其尽可能地覆盖尚未被覆盖的有效等价类,直到所有的有效等价类被覆盖;
3、设计一个新的测试用例,使其尽可能地覆盖尚未被覆盖的无效等价类,直到所有的无效等价类被覆盖。

例:

城市的电话号码由两部分组成。这两部分的名称和内容分别是:
1)地区码:以0开头的三位或者四位数字(包括0);
2)电话号码:以非0、非1开头的七位或者八位数字。
假定被调试的程序能接受一切符合上述规定的电话号码,拒绝所有不符合规定的号码,请使用等价分类法来设计它的测试用例。
要求:先划分等价类,再按覆盖规则覆盖所有等价类。

java黑盒测试工具 黑盒测试功能测试_java黑盒测试工具_02


java黑盒测试工具 黑盒测试功能测试_等价类_03


2、边界值分析

边界值分析是通过选择等价类边界的测试用例。边界值分析法不仅重视输入条件边界,而且也必须考虑输出域边界。它是对等价类划分方法的补充。

边界值分析测试用例设计原则:

  • 1、如果输入条件规定了值的范围,则应取刚达到这个范围的边界的值,以及刚刚超越这个范围边界的值作为测试输入数据。
    例:输入值范围“1-9”,则输入测试用例可为:1、9、0.9、9.1
  • 2、如果输入条件规定了值的个数,则用最大个数,最小个数,比最小个数少一,比最大个数多一的数作为测试数据。
    例:一个输入文件可以有1-64个记录,则输入测试用例可为:1、64、0、65(个记录)
  • 3、根据规格说明的每个输出条件,使用前面的原则1。
  • 4、如果程序的规格说明给出的输入域或输出域是有序集合,则应选取集合的第一个元素和最后一个元素作为测试用例。
  • 5、如果程序中使用了一个内部数据结构,则应当选择这个内部数据结构的边界上的值作为测试用例。
  • 6、分析规格说明,找出其它可能的边界条件。

3、因果图

等价类划分和边界值分析,都着重考虑输入条件,但未考虑输入条件之间的联系,相互组合等。因果图方法充分考虑输入条件之间的相互组合以及相互制约关系。

因果图的基本符号:

java黑盒测试工具 黑盒测试功能测试_黑盒测试_04

  • 恒等:表示原因与结果之间一对一的对应关系。若原因出现,则结果出现;若原因不出现,则结果也不出现。
  • 非:表示原因与结果之间的否定关系。若原因出现,则结果不出现;若原因出现,则结果出现。
  • 或:表示若几个原因中有一个出现,则结果出现,只有当这几个原因都不出现时,结果才不会出现。
  • 与:表示若几个原因都出现,则结果才出现。若几个原因中有一个不出现,则结果不会出现。

因果图中表示约束条件的符号:

java黑盒测试工具 黑盒测试功能测试_等价类_05

  • E(互斥):表示a,b两个原因不能同时成立,两个中最多有一个可能成立。
  • I(包含):表示a,b,c三个原因中至少有一个必须成立。
  • O(唯一):表示a,b当中必须有一个,且仅有一个成立。
  • R(要求):表示当a出现时,b必须出现。不可能a出现,而b不出现。
  • M(屏蔽):表示当a是1时,b必须是0。而a为0时,b的值不确定。

用因果图生成测试用例基本步骤:

  1. 分析软件规格说明描述中,哪些是原因(即输入条件或输入条件的等价类),哪些是结果(即输出条件),并给每个原因和结果赋予一个标识符。
  2. 分析软件规格说明描述中的语义。找出原因与结果之间,原因与原因之间对应的关系。根据这些关系,画出因果图。
  3. 由于语法或环境限制,有些原因与原因之间,原因与结果之间的组合情况不可能出现。为表明这些特殊情况,在因果图上用一些记号标明约束或限制条件。
  4. 把因果图转换为判定表。
  5. 把判定表的每一列拿出来作为依据,设计测试用例。

从因果图生成的测试用例(局部,组合关系下的)包括了所有输入数据的取true与取false的情况,构成的测试用例数目达到最少,且测试用例数目随输入数据数目的增加而线性地增加。

4、判定表组成法

前面因果图方法中已经用到了判定表。判定表是分析和表达多逻辑条件下执行不同操作的情况下的工具。

java黑盒测试工具 黑盒测试功能测试_等价类_06

  • 条件桩(Condition Stub):列出了问题的所有条件。通常认为列出的条件的次序无关紧要。
  • 动作桩(Action Stub):列出了问题规定可能采取的操作。这些操作的排列顺序没有约束。
  • 条件项(Condition Entry):列出针对它左列条件的取值。在所有可能情况下的真假值。
  • 动作项(Action Entry):列出在条件项的各种取值情况下应该采取的动作。

规则:任何一个条件组合的特定取值及其相应要执行的操作。在判定表中贯穿条件项和动作项的一列就是一条规则。显然,判定表中列出多少组条件取值,也就有多少条规则,既条件项和动作项有多少列。

判定表的建立步骤:
①确定规则的个数。假如有n个条件,每个条件有两个取值(0,1),故有2n种规则。
②列出所有的条件桩和动作桩。
③填入条件项。
④填入动作项。等到初始判定表。
⑤简化。合并相似规则(相同动作)。(可选)

例:

某校的课酬计算方案如下:
(l)基本课酬为每节课10元;
(2)如果班级人数超过40人,课酬增加:基本课酬×0.1;
(3)如果班级人数超过60人,课酬增加:基本课酬×0.2;
(4)如果教师是副教授,课酬增加:基本课酬×0.1;
(5)如果教师是教授,课酬增加:基本课酬×0.2
(6)讲师,课酬不增加;
(7)助教,课酬减少:基本课酬×0.1。

java黑盒测试工具 黑盒测试功能测试_java黑盒测试工具_07

5、随机测试
随机测试指测试输入数据是所有可能输人值中随机选取的,是一种基本的“黑盒”測试方法。随机选取用随机模拟的方法,包括用伪随机数发生器、硬件随机模拟器产生输人数据。这种方法能够获得大量的测试数据,测试人员只需规定输人变量的取值区间、在需要的时候提供必要的变换机制,使产生的随机数服从预期的概率分布。

6、猜错法
猜错法是基于经验和直觉推测程序中所有可能存在的各种错误,从而有针对性地设计测试用例的方法。
猜错法的基本思想是:列举出程序中所有可能有的错误和容易发生错误的特殊情况,根据它们选择测试用例。程序中容易出错的情况有:①输人数据为零或输出数据为零;②如果输入或输出的数目允许变化,则输入或输出的数目为 1 或 0 等。除此之外,还要仔细分析程序的规格说明书,注意找出其中遗漏或省略的部分,以便设计出相应的测试方案,检测程序员对这些部分的处理是否正确。

7、场景法

软件几乎都是用事件触发来控制流程的,事件触发的情景便形成了场景,而同一事件不同的触发顺序和处理结果就形成事件流。这种在软件设计方面的思想也可以引入到软件测试中,可以比较生动地描绘出事件触发时的情景,有利于测试设计者设计测试用例,同时使测试用例更容易理解和执行。

java黑盒测试工具 黑盒测试功能测试_等价类_08

基本流和备选流:如图1所示,图1中经过用例的每条路径都用基本流和备选流来表示,直黑线表示基本流,是经过用例的最简单的路径。备选流用不同的色彩表示,一个备选流可能从基本流开始,在某个特定条件下执行,然后重新加入基本流中(如备选流1和3);也可能起源于另一个备选流(如备选流2),或者终止用例而不再重新加入到某个流(如备选流2和4)。

黑盒测试的优点:适用于功能测试、可用性测试及可接受性测试;对照说明书测试程序功能;可测试长的、复杂的程序的工作逻辑,易被理解。
黑盒测试的缺点:不可能进行完全的、毫无遗漏的输入测试,有一些软件Bug或人为设置的故障通过黑盒测试是无法检测出来的。正是因为黑盒测试的测试数据来自规格说明书,这一方法的主要缺点是它依赖于规格说明书的正确性。实际上,人们并不能保证规格说明书完全正确。如在规格说明书中规定了多余的功能,或是漏掉了某些功能,这对于黑盒测试来说是完全无能为力的。