测试 Hadoop

　　既然已经安装了 Hadoop 并测试了文件系统的基本接口，现在就该在真实的应用程序中测试 Hadoop 了。在这个示例中，我们使用 MapReduce 处理一个小数据集。map(映射) 和 reduce(缩减) 源自函数式编程中的函数名，但是这个应用程序的核心功能是数据缩减。映射 是指把大量输入处理成更小的子问题集(然后把这些子问题分发给并行的工作系统)。缩减 是指把子问题的答案组合成单一输出集。注意，这里没有定义处理 的含义，因为框架允许您自己定义什么是处理。典型的 MapReduce 示例是计算单词在文档集中出现的频率。

　　根据前面的讨论，我们需要一个输入集并产生一个输出集。第一步是在文件系统中创建一个 input 子目录，工作将放在这个目录中。使用以下命令：

　　接下来，在 input 目录中放一些工作。在这里，使用 put 命令把文件从本地文件系统转移到 HDFS 中(见清单 4)。注意，下面的命令格式把源文件转移到 HDFS 子目录 (input) 中。完成之后，在 HDFS 中就有两个文本文件等待处理。

　　清单 4. 把文件转移到 HDFS 中

　　接下来，使用 ls 命令检查文件是否存在(见清单 5)。

　　清单 5. 检查 HDFS 中的文件

　　确认工作已经放在 HDFS 中之后，就可以执行 MapReduce 函数了。这个函数只需要一个命令，但是需要很长的请求，见清单 6。这个命令请求执行一个 JAR。它实际上实现许多功能，但是这个示例只使用 wordcount。jobtracker 守护进程请求 datanode 执行 MapReduce 作业，这会产生相当多的输出(这里的输出比较少是因为只处理两个文件)。它显示 map 和 reduce 函数的进度，然后提供与文件系统的 I/O 和记录处理相关的统计数据。

　　清单 6. 执行计算单词频率的 MapReduce 作业

　　处理结束之后，检查结果。这个作业的作用是计算单词在输入文件中出现的次数。输出是一个包含元组的文件，元组表示单词和它在输入中出现的次数。找到输出文件之后，可以通过 hadoop-0.20 实用程序使用 cat 命令查看数据(见清单 7)。

　　清单 7. 检查 MapReduce wordcount 操作的输出

　　还可以使用 hadoop-0.20 实用程序从 HDFS 中提取文件(见清单 8)。只需使用 get 实用程序(它与前面在 HDFS 中写文件所用的 put 相似)。对于 get 操作，指定 HDFS 中要提取的文件(来自 output 子目录)和在本地文件系统中要写的文件 (output.txt)。

　　清单 8. 从 HDFS 提取输出

　　我们再来看一个示例，它使用相同的 JAR，但是目的不同(在这里要试验并行的 grep)。对于这个测试，仍然使用现有的输入文件，但是要删除 output 子目录以便在测试时重新创建它：

　　接下来，请求用于执行 grep 的 MapReduce 作业。在这种情况下，并行执行 grep(映射)，然后组合 grep 的结果(缩减)。清单 9 给出这个使用模型的输出(为了简短，这里删除了一些输出)。注意，这里的命令请求是一个 grep，它从 input 子目录获取输入，把结果放在 output 子目录中。最后一个参数是要搜索的字符串(在这里是 'kernel')。

　　清单 9. 执行单词搜索计数的 MapReduce 作业 (grep)

　　作业完成之后，检查 output 目录，找到结果文件，然后通过执行文件系统 cat 操作查看其内容(见清单 10)。

　　清单 10. 检查 MapReduce 作业的输出