【IT168 技术文档】
TDD(Test Driven Development)早已成为被广泛使用的敏捷实践。对于 Java 来说，JUnit 是备受开发人员喜爱的单元测试工具。它甚至还影响了其他语言的测试框架。这点，我们从繁多的 xUnit 框架就可以看出来。随着多核时代的到来，开发人员将需要进行越来越多的并行程序测试。得益于JUnit的可扩展性，我们可以使用Annotation让 Unit 更好地支持并行测试。在本文中，我们将介绍一个对 JUnit 的扩展，从而使得我们可以方便的用并行的方式进行单元测试。
测试并行程序与以往有什么不同?
随着多核的普及，并行程序的开发已经提上日程。相对串行程序而言，并行程序更有可能出错。一方面，并行程序的执行序列具有很强的随机性，线程交错执行的序列可能每次都不一样，而只要一个序列有问题，整个程序就是不正确的。另一方面，并行程序对大多数程序员来说，都是一个新的领域，经验相对较少，这是容易出错的另外一个因素。
既然如此，我们就更需要仔细的测试我们的并行程序和组件了。目前已经有一些 JUnit扩展可以创建多个线程，同时运行多个测试用例，从而加快测试用例集的执行速度，如 p-unit。但对于测试并行程序和组件，这些功能并不能满足所有的需求。因为开发人员通常希望可以精确地控制多个线程之间的同步。
与测试顺序程序相同，我们希望能在测试并行操作之前，首先准备一些测试数据。然后，启动多个线程测试执行不同的操作。最后，等待所有线程结束之后，检验结果的正确性。在第二阶段中，多个线程能以任意的次序交错执行。结果的正确性检查应与线程的执行测序无关。
标准 JUnit 只捕捉来自主线程的 Exception 。而其他线程中产生的 Exception 则会安静地被忽略掉，使得我们在子线程运行出错的情况下仍旧能得到“ Green Bar ”。这显然不是程序员喜欢的测试行为，我们希望测试结果能正确地反映所有线程的运行结果。
这种用于并行程序的测试模式会在测试并行程序时会不断的重复。如果开发人员每次都需要重复创建这些框架，不仅繁琐，而且容易引入错误。通过使用以下介绍的简单扩展，可以使并行程序的测试变得和顺序程序一样简单。这种扩展并不影响 JUnit 的其他特性以及各种 IDE 的 JUnit 插件的使用。
下载并使用扩展框架
首先，我们给出一个使用新扩展进行并行测试的例子。
例 1. 使用JUnit扩展进行并行测试
/**
* @author Zhi Gan
*
*/
@RunWith(Parallelized.class)
@ParallelSetting(threadNumber = { 1, 2, 4, 8 })
public class TestThreaded {
Set
@Before
public void setUp() {
strSet = new LockFreeSet();
}
@Test
public void doNothing() {
}
@InitFor("testThread")
public void putSomeData(int size){
strSet.add("putSomeData");
}
@Threadedpublic void testThread(int rank, int size) {
// every thread adds element to set
strSet.add("abcde" + rank);
}
@CheckFor("testThread")
public void checkResult(int size) {
assertEquals(size+1, strSet.size());
}
public static void main(String[] args) {
for (int i = 0; i < 10; i++)
JUnitCore.runClasses(TestThreaded.class);
}
}
如果我们在 Eclipse 中运行测试，那么测试完毕之后的 JUnit 视图如下所示：
图 1. 并行测试的完成结果
接下来，我们模拟子线程在运行时抛出异常。
例 2. 子线程运行时异常
/**
* @author Zhi Gan
*
*/
@RunWith(Parallelized.class)
@ParallelSetting(threadNumber = { 1, 2, 4, 8 })
public class TestThreaded {
Set
@Before
public void setUp() {
strSet = new LockFreeSet();
}
@Test
public void doNothing() {
}
@InitFor("testThread")
public void putSomeData(int size){
strSet.add("putSomeData");
}
@Threadedpublic void testThread(int rank, int size) {
// throw a runtime error in spawned thread
throw new RuntimeError();
}
@CheckFor("testThread")
public void checkResult(int size) {
assertEquals(size+1, strSet.size());
}
public static void main(String[] args) {
for (int i = 0; i < 10; i++)
JUnitCore.runClasses(TestThreaded.class);
}
}
如果我们在Eclipse中运行测试，那么测试完毕之后的JUnit视图如下所示：
图 2. 并行测试的完成结果
从上图可以看出，我们的并行测试用例通过了测试，并且它们在使用不同线程运行时都能正常的工作。而串行的测试方法 (doNothing) 的执行结果则完全和之前一样工作正常。也就是说，串行和并行测试可以在一个测试类中同时出现。
Annotation详细说明
表 1. 扩展的 annotation 说明
ParallelSetting threadNum: 用于指定线程数目。通常我们希望能使用一个数组指定多个值，这样，我们可以了解程序是否在单线程，较少线程，以及大量线程的情况下是否工作正常。 用于整个 TestCase 来指定测试所用的并行设置 用于指定整个TestCase的并行设置
InitFor指定此方法服务的测试方法 用于指定初始化方法所服务的并行测试方法
Threaded 无参数，或定义与 @Test 兼容的参数 用于一个具有两个int类型的测试方法。测试过程中，测试框架将会线程序号以及线程总数通过方法的参数传递进来。这有点类似于 MPI 的约定。 指明一个方法为并行测试方法，相当于JUnit原有的@Test注释。
CheckFor一个字符串参数，用于指定需要被验证的并行测试方法。 一个Threaded修饰的方法 指明一个方法用于检测并行执行的结果 . 我们不能在Threaded方法中直接检查，因为其他线程的测试也许还没有结束。
扩展JUnit的过程说明
归功于 JUnit的灵活的内部架构，只要遵循JUnit的标准，我们就能够轻松的扩展JUnit的功能。而且遵循标准还意味着我们的扩展能无缝的利用社区对JUnit的广泛支持。例如，我们没有编写任何Eclipse插件，但是我们的测试结果能自然的在 Eclipse中通过精心设计的 GUI 进行展现。
言归正传，我们扩展JUnit的过程主要由以下过程组成：
生成 Annotation 的定义，包括：@Threaded, @InitFor, @Check, @ParallelSetting
生成 TestClassRunner 的子类 Parallelized 并在其中实现运行自定义测试的逻辑
生成 TestMethodRunner 的子类供 Parallelized 类使用
在实现ThreadedMethodRunner时，我们最开始在类 ThreadedMethodRunner 使用了 Thread 类的 setDefaultUncaughtExceptionHandler来捕获异常。然后将异常封装到主线程。而目前的版本则利用了Executor来运行多线程测试。由于JDK中的Future已经提供了类似的能力，所以我们不需要再关心异常的正确传递问题了。JUnit能准确的打印出并行测试中产生的异常信息，这也意味着我们可以使用JUnit提供的Assert功能了。
结论
随着多核平台逐渐成为主流，开发人员不可避免地需要开发和测试并行应用。本文通过使用 Annotation 扩展 JUnit，使其可以更方便地支持“准备数据——多线程运行——检查结果”三阶段的并行测试模式，减少开发人员手工创建线程和同步的繁琐工作。并且可以使 JUnit支持从子线程中捕获测试错误，正确地在 Eclipse等IDE中显示测试结果。
