四、软件测试方法和辅助工具

    有了Bug 类型的定义以后，如何去找出这些Bug 呢？这就需要采用好的测试方法。以下介绍几种常用的钦件测试方法。有多种方式对软件测试方法进行分类。例如，从代码和用户使用的角度可以将软件测试方法分为如下几种。

（1）覆盖性测试 (Coverage Testing) 覆盖性测试是从代码的特性角度(即内部)出发的测试方法，包括以下方式。

①单元测试 (Unit Test): 按照代码的单元组成逐个进行测试。

②功能测试(Function Test) 或特性测试(Feature Test): 按照软件的功能或特性逐个进行测试。例如，在Exchange 中，发送邮件和接收邮件就是两个不同的功能或特性，在测试时就分别对它们进行检查，看是否工作正常。

③提交测试(Check-in Test): 在开发人员对代码做了任何修改，或者修复了某个Bug 时，需要重新Check-in 代码 (即将修改后的代码放大到整个大的系统中)。这时，开发人员往往也要进行测试，看代码是否工作正常。为了保险起见，开发人员往往要找测试人员帮着一起进行测试(我们把这种情况称做Buddy Test) 。测试人员和开发人员之间搞好关系是非常重要的，稍后我会专门讲述这一点。

④基本验证测试 (Build Verification Test ，简称BVT): 对完成的代码进行编译和连接，产生一个构造，以检查程序的主要功能是否会像预期一样进行工作。这是最简单而又最省时的一种测试方法。每产生一个新的构造时都要进行测试。如果连BVT 都通不过，表明问题很严重，开发人员需要尽快修复出现的问题，测试人员也就不用浪费时间做其他测试了。
⑤回归测试 (Regression Test): 过一段时间以后，再回过头来对以前修复过的Bug 重新进行测试，看该Bug 是否会重新出现。


(2) 使用测试(Usage Testing) 使用测试是从用户的角度(即外部)出发的测试方法。它也包括许多类型。

①配置测试(Configuration Test): 从用户的使用出发进行多方面的测试。例如，保证软件不仅能够在Windows 9X 下运行，也能够在Windows ME 下运行，还能够在Windows NT/200O/XP 下运行;或者软件不仅能够在配置高的计算机上运行，也能够在配置很低的计算机上正确地运行。总之，要考虑到用户的多种情况，用多种配置对软件进行测试。

②兼容性侧试 (Compatibility Test): 主要考虑兼容性问题，比如同一个产品的不同版本(如Office 2O00 和Office XP) 之间的兼容问题，不同厂家的同一个产品(如IE 和Netscape)之间的兼容问题，不同类型软件(如IE 和Office)之间的兼容问题等。最难测试的往往就是软件的兼容性问题，往往要投人巨大的人力和物力。一些厂商开发出来的产品在兼容性上做得很不好，就是因为没有足够的人力和物力进行测试。 
    我在做SQL Server 的XML 测试的时候，为了解决XML 的兼容性问题，用了6 个测试人员和100 台计算机进行测试。正因如此，微软产品的兼容性都非常好。而不像市场上的一些产品，安装以后就导致计算机上的许多其他软件无法使用，或者出现各种各样的问题，这样不仅伤害了其他软件，也伤害了用户。

③压力测试(StressTest): 在各种极限情况下对产品进行测试 (如很多人同时使用该软件，或者反复运行该软件)，以检查产品的长期稳定性。例如，我们在开发IE 4.0 的时候，由于当时有一个非常强的竞争对手，因此我们必须保证IE4.0 要做得非常好。当时，为了测试IE4.0 的长期稳定性，我们专门设计了一套自动测试程序，它一分钟可以下载上千个页面。我们使用这个测试程序对IE4.0 进行了连续72 小时的测试，也没有出现任何问题，如内存泄漏、程序崩溃等。 
    本项测试可以帮助找到一些大型的问题，如死机、崩损、内存泄漏等，因为有些存在内存泄漏问题的程序，在运行一两次时可能不会出现问题，但是如果运行了成千上万次，内存泄漏得越来越多，就会导致系统崩滑。

④性能测试(Performance Test): 本项测试是保证程序具有良好的性能。如果别人的产品只需5 秒钟就能得出结果，而你的产品需要10 秒钟才能得出结果，就说明你的产品性能不好。如果在测试过程中发现性能问题，修复起来是非常艰难的，因为这常常意味着程序的算法不好，结构不好，或者设计有问题。因此在产品开发的开始阶段，就要考虑到软件的性能问题。

⑤文档和帮助文件测试(Documentation and help file Test): 因为用户通常是通过文档和帮助文件来学习使用产品的，如果文档和帮助文件存在错误，就可能会导致用户无法正常使用产品。这项工作通常在产品即将Ship(即准备包装发布)时进行，以避免在修复Bug 的过程中需要反复修改文档，或者忘记修改文档，导致文档与产品的特性不相符。

⑥ Alpha 和Beta 测试 (Alpha and Beta Test): 在正式发布产品之前往往要先发布一些测试版，让用户能够反馈出相关信息，或者找到存在的Bug，以便在正式版中得到解决。 

    还有一种分类方法将测试方法分为如下几种。

(1) 白盒测试 (White Box Testing)
又叫做玻璃盒测试(Glass Box Testing) 。在软件编码阶段，开发人员根据自己对代码的理解和接触所进行的软件测试叫做白盒测试。这一阶段测试以软件开发人员为主，有时候SDE/T 也会辅助开发人员进行测试。

(2) 黑盒测试 (Black Box Testing)
黑盒测试的内容主要有以下几个方面。

①接受性测试 (Acceptance Testing)：类似于BVT 测试。

② Alpha/Beta 测试 (Alpha/Beta Testing): 在此过程中，产品特征不断地修改。当发现Bug 后，在开发人员修改的同时，项目经理也会对产品计划做出相应的调整，产品计划不是一成不变的。

③菜单/帮助测试(Menu/Help Testing)：大家千万不要以为这一项测试不值得进行。其实，在软件产品开发的最后阶段，文档里发现的问题往往是最多的。因为在软件测试过程中，开发人员会修复测试人员发现的Bug，而且可能会对软件的有些功能进行修改，同时项目经理也会根据情况调整软件的特性，因而在软件开发和测试的过程中，所有的功能都不是固定不变的，都会进行调整。所以，一般来说，直到软件Ship 时才编写软件的帮助文档，这样才能保证帮助文件的内容与软件功能相符，我在做帮助文件测试的时候，总是假装什么都不懂，就按照帮助文件提供的步骤去做，看看该文件是否正确。在实际测试中，我经常能发现帮助文件中的Bug 。

④发行测试（Release Testing）：在正式发行前，产品要经过非常仔细的测试。除了专门的测试人员外，还需要几千个甚至几十万其他用户与合作者通过亲自使用来对产品进行测试，然后将错误信息反馈给我们。到了发行测试这一步，如果出现非改不可的Bug，就必须推迟软件的发行，有的时候一推就是几个月，期间需要重新对软件产品进行全面的测试，耗费大量的时间和人力物力。

⑤回归测试（Regression Testing）：回归测试的目的就是保证以前已经修复的Bug在软件Ship 以前不会再出现。实际上，许多Bug 都是在回归测试时发现的，在此阶段，我们首先要检查以前找到的Bug 是否已经更正了。值得注意的是，已经更正的Bug 也可能又回来了，有的Bug 经过修改之后可能又产生了新的Bug。所以，回归测试可保证已更正的Bug 不再重现，不产生新的Bug 。

⑥RTM 测试（Release To Manufacture Testing）：为产品真正的Ship 做好准备所进行的测试。事实上，在这一测试阶段，对每一个Bug 都需要经过很高职务的人同意才能更正。因为这时候修改软件非常容易产生其他的错误，所以只有那种非修复不可的Bug 才会被允许进行修改。如果在发行阶段软件还有许多严重的Bug 的话，恐怕就不能按时发布了。记得有一次一个微软核心产品刚刚完成，准备Ship 时，我对其进行RTM 测试时就发现一个Bug：只要用该产品打印中文就会导致程序错误。这是一个很严重的Bug，于是开发人员马上修复了该Bug，重新Ship 该产品。 

    功能及系统测试（Function ＆System Testing）：这一点是最重要的，包括了非常多的内容。

� 规范验证(Specification Verification）
� 正确性(Correctness）
� 可用性(Usability）
� 边界条件(Boundary Condition）
� 性能(Performance)
� 压力测试(Stress)
� 错误恢复(Error Recovery)
� 安全性(Security) � 兼容性(Compatibility)
� 软件配置(Configuration)
� 软件安装(Installation) 

    另外一种分类方法就比较好理解了，主要将软件测试方法分为如下几种。

⑴手工测试（Manual Testing）：即依靠人力来查找Bug。

⑵自动测试（Automation Testing）即编写一些测试工具，让他们自动运行来查找Bug 。自动测试的优点是能够很快、很广泛地查找Bug，缺点是它们只能检查一些最主要的问题，如崩溃、死机，但是却无法发现一些一般的日常错误，这些错误通过人眼很容易找到，但机器却往往找不到。另外，在自动测试中编写测试工作量也很大，因此在实际测试中通常是手工测试和自动测试相结合，而且手工测试往往是主要的，占了1/2－2/3，而自动测试只占1/3－1/2。在不同的开发队伍中，这个比例会有所不同，但总体趋势是这样的。 

    有了好的测试方法，还需要有高效好用的辅助工具，做软件测试通常需要以下一些基本工具。

� 计算机
� 优秀的办公处理软件（如字处理软件和表单软件，用于编写测试计划和规范）
� 视频设备
� 秒表（角色程序运算时间，测试产品性能）
� 错误跟踪系统（微软内部使用的是RAID，用来自动跟踪Bug）
� 自动测试工具（产生Automation 脚本）
� 软件分析工具
� 好的操作系统（如Windows NT/2000，其中有很多有用的工具，如文件比较器、文件查看器、文件转换器、内存监视器等）
� 多样化平台