技术开发 频道

软件测试的革命

    实际上,Leffingwell和Widrig并没有真正地考虑到测试的问题。他们的主要目的是想让需求具备很高的可理解性,以便于让用户和投资者能够充份理解。他们没有解决这样的问题,即如何把规格说明提交给其他投资者和生命周期的其它阶段。作为一种争议,他们认为有必要保留一部份不明确性。而实际上,不明确的需求显然会让测试人员发疯。
    Marick提出的测试驱动型开发方法则走向另一个极端:测试代表了需求,测试的表现形式是一些可编译、可执行的代码。但是,如果测试(需求)的唯一表现形式是代码的话,你就很难和商务人员/投资者/客户进行有效沟通,甚至也很难和其他测试人员及开发人员进行沟通。所有这些人都认为测试的形式本该是数据和流程,所以如果要以那种方式来做的话,你的测试必须变得非常容易进行交流。
    一些公司正致力于为这种隔阂提供解决之道。Rational正积极参与一个OMG团体关于UML测试预定义项目,该项目可以把测试表示为数据和可视化的流程,例如顺序图和活动图。我们正在开发一些工具来对待以下三种表示方法,代码,数据和流程,并取代类似的测试视图。
    在过去,我们制作了这些“实例化规格说明”,按照RUP的命名方法,可称之为“用例实现”。“实例化规格说明”和“用例实现”的相似性可以通过援引最近的一个使用Agile方法的工作团体的报告来说明:
    [一个参与者]提到,和他一起工作的人都很喜欢使用“测试第一”的开发方式。当测试框架被开发好以后,特别是当用于组织运行的测试脚本被定义好时,他们的工作变得更为容易。而用例在组织起来开发脚本时会有所帮助。他们的测试可以捕捉到用户的需要。人们之所以喜欢这样的方法,其原因是它提供了他们工作所需的结构。在Agile方法中,需求以“案例(story)”的形式存在。于是,测试脚本将以接口已明确定义好的形式把这些“案例”编织在一起。这意味着结对编程的人可以根据他们需要的顺序相互测试接口[注5]。
    类似地,OMG测试预定义工作组发现,将UML排列起来也很容易。你可以将一个用例实现转成为测试,这只需增加两件东西:验证工作(例如,“现在用测试来检查这个软件中的条件。”)以及裁决(例如,通过、失败,或者暂不决定)。这样的信息在规格说明中随处可以捕捉到,所以UML符号可以让我们测试人员有了表达的手段。
    于是,只需要额外做一点点努力,就可以使测试对客户来说变得很容易理解:数据表和可视化流程。然后,当有软件需要测试的时候,测试已准备就绪。这一实践使测试驱动型开发在系统级测试上也具有实用的价值,因为在设计工件和测试设计工件之间确实没有什么区别。仅仅只要增加验证的注解以及进行裁决就可以了。在比较容易理解的可视化流程和数据的帮助下,你不再需要把系统设计从测试设计中分离出来。而且由于这些流程具有一个可执行的形式(生成的代码),因此可以把每一次创建作为测试来执行。这使整个团队得到了解放,并成为Kent Beck和Erich Gamma所说的"受影响的测试(test infected)":
    “...这是一种测试的类型,只要使用非常小的投入即可使你成为一个更快的、更多产的、更具预见性的、压力更小的开发者。”
-Kent Beck和Erich Gamma《Test Infected: Programmers Love Writing Tests》[注6]

    探索性学习

    这第二种趋势认识到了这样的现实,即我们通常很难把问题描述得十分正确:需求在演变,我们需要简化(扁平化)或者把著名的“错误-代价”曲线颠倒过来。这里的核心思想是:我所说的每一项,不管是在产品、测试或者跟踪排错的第一步,都在运行软件时通过探索性发现,才使得可视化-可执行-设计-测试的整个过程和结果变得更为真实。
    实时分析工具,例如Rational PurifyPlus就带有制作精良的非常明确的实例,例如发现内存错误和性能上的瓶颈。你还可以用它们来支持更广泛的探索,尤其是在由各种不同组件所构成的系统中。80%的企业级行为都是对某些组件的重新组装,包括对遗留下来的成份进行更新或补充等等,而不是从头开始设计。
    在软件运行时你会发现很多新的信息,至少和设计时一样多。这也是RUP强调要把可运行的软件作为每一次迭代的组成部份的缘故。你发现的每一样东西都应该是可视的,并且放在你用于设计的同样的工件中。对运行着的系统的跟踪是一种UML的迭代,经过验证和裁决,可以转化为一种可复用的测试。数据也值得进行概括,并形成新的等价类的基础,等等。
    当前,大多数探索性测试的提倡者,尤其是Kaner和Bach,都把这作为使用后即可放弃的行为[注7]。但我认为,我们一旦把所探索到的内容无缝地加入到设计中去后,就会发现,这是高度可重用的。事实上,这是实时分析的一个新的应用:通过探索而发现的有价值的东西的捕获和利用。

    组件测试和易测试性设计

    第三种趋势是关于理解测试人员和开发人员的相对角色,并为每种角色分配合适的工具。Rational把提供组件测试和易测试性设计作为一种非常好的实践,这已有很长的历史。我认为对这些做法的采纳源自于对质量的基本理解。当前,太多的测试人员的行为都受限于规格说明的模式,其中有很多浪费。其实开发人员才有责任去保证所开发出来的软件和规格要求相一致,他们应该使用合适的工具和过程来达到这样的目的。
    Boris Beizer描述了2种不同角色的区别:
    独立测试的目的是提供一种不同的观察点,由此产生了不同的测试,并且在比开发人员所采用的开发环境更丰富的环境中执行测试。自我测试(self-testing)的目的是消除那些bug,这可以在相对更简单、更明确的单元/组件环境,或者低层次的系统测试中进行,并且只需花费较低的代价。[注8]
    测试驱动型开发提供更大的能力。如果规格说明就是可执行的测试,而测试进行没有产生别的问题,那么就可以认为软件和规格说明相符。其它的单元测试过程也只是为了保证同样的事情:就规格说明而言,不管它们是什么内容,代码总是与之相符合的。如果不符合,那么就是开发人员的问题。Kent Beck非常清楚测试驱动型开发所带来的效果:
    如果测试驱动编码的缺陷密度达到足够低的话,那么专业测试的角色将不可避免地发生改变。以前的是“成人监护”方式,而现在更类似于一种扩音器,它宣称测试要更多地验证的是系统必须做什么。[注9]
    这需要整个团队接受这样的一个前提,即保证软件符合规格说明是开发人员的职责。这使得测试者可以有更多精力用于发现和避免一些别的问题,从客户或者用户的角度来看,这些问题的存在可能会使软件所应有的价值有所降低。Brian Marick针对这些冗长烦琐做法的错误性写过一篇很著名的文章[注10]。那些文档通常已说明了一个系统中的多于一半的错误,他声称,因此你就需要专门有一个过程来让你的测试人员用来发现这些问题。
    易测试性的设计在这里具有重要的意义。现在很多软件已改用基于服务的构架,这种构架是基于组件的构架的一种扩展,随之而来的是新增加的复杂性,即组件可以在没有警告的情况下发生改变,其可靠性的问题是极为严重的。大多数IT经理会接受99%的可靠性,我敢打赌,他们会认为这一标准甚至已经高于他们所用的买来或构建的组件。但是,如果你构建的系统有超过100个组件,每个组件具有99%的可靠性,那么整个系统的可靠性是0.99的100次方,实际上仅有37%。顺便提一下,这也是为什么那些有高可靠性要求的市场,例如电信业,会要求“5个9”的可靠性,即99.999%。在这样的情况下,你就可以使用100个组件,综合起来仍有99.9%的可靠性。
    这一基本原理实际上要求软件进行易测试性的设计,就象30年前市场形成时硬件所做的一样。 Bertrand Meyer是这一领域研究的领先者,他提出了按合约设计,其意思是把对类及调用该类的客户端之间的关系的检视作为一种正式的协议,这表达了每个团体的权利和义务[注11]。Meyer的概念已被广泛接受,其标志之一就是合约设计的规格语言WSDL的诞生,该语言是Web Service标准的核心[注12]。
    我认为人们正越来越多地接受易测试性设计。易测试性已成为诸如Web Service等框架和标准的一个补充的组成部份。接口也正成为技术平台和操作系统的一部份。一个比较简单的例子是,J2EE和.NET 中预定义开放式接口和API映射,可以允许工具来检查在运行时刻环境中发生了什么。另一个真实而有益的趋势是人们正使用象Rational XDETM这样的工具,通过设计模式的方法来构建应用--而易测试性已被置入在设计模式中。模式所构造的组件包括外在的用于测试的接口 -- 即组件的一些适当的getter和setter方法。
    易测试性设计的一个实用的法则是,你已在GUI和表示层的后面对业务逻辑或软件的行为进行了访问。Bret Pettichord主张,易测试性设计应该是关于可见性和控制的设计[注13]。你通过较低层获得其外在接口,从而得到所需要的可见性,在测试的时候,通过很多开放的接口来允许你直接看到软件中的声明。同样地,你需要接口来让你能够控制应用,由此你才可以避免使用GUI,而是通过自动化框架来驱动应用。

0
相关文章