【IT168 现场报道】2011年12月2日消息，Hadoop中国2011云计算大会(Hadoop in China 2011，HiC2011)今天在北京会议中心举行。Apache软件基金会主席兼Apache Hadoop项目负责人Doug Cutting先生，Condor创始人University of Wisconsin–Madison的Miron Livny教授， Ohio State University计算机系主任，Robert M. Chritchfield讲席教授张晓东出席了本次会议。
在今天下午进行的NoSQL系统及应用分论坛中，来自eBay Hadoop团队的杰出工程师马明带来主题演讲“Intro to HBase and its usage in eBay(HBase及其在eBay应用)”，介绍了eBay是如何利用Hadoop和HBase来建立搜索引擎方面的技术。
▲eBay Hadoop团队的首席工程师马明
eBay作为电子商务平台连接着世界各地不同的买方和卖方，因此就需要一个功能强大的搜索引擎。一个好的搜索引擎不仅要具备快速、大规模和高可靠性的特点，还需要具备搜索结果的准确性和操作的体验性。Hadoop因其Index Generation的数据量的特点和批处理的特点，可以在搜索引擎的架构上提供一个平台上的支持。
Hadoop有很多子系统，在搜索引擎的范围内，主要有五个子系统，分别是HBase(数据存储引擎)、HDFS(分布式文件系统)、MapReduce(为应用程序在大量计算机上做并行处理提供平台)、Zookeeper(分布式协调服务)、Oozie(为管理MapReduce jobs提供流程)。
▲HBase数据模型
马明介绍了HBase。这是一个面向列，从Google的BigTable发展而来开源的分布式存储系统。HBase与关系型数据库一样，存在多行的表结构和主键。除此之外HBase还提供了新的数据模型，列之间可以结合形成column family，不同的表单元可以有不同的版本，这使得应用程序能更加灵活的使用HBase。
▲HBase系统概览
谈到eBay的搜索引擎为什么会选择HBase，马明表示从技术角度上，HBase跟传统数据库和其他NoSQL相比有它独特的优势。HBase在一定的范围内都是线性的，只要增加计算机就能处理更多的数据，以满足eBay数据增长的需求，并且HBase还有自动故障切换、高一致性和高效随机读写功能。从技术以外的角度上，HBase在开发社区和使用人群方面都有这非常明显的优势。
▲搜索引擎需改进的三个方面
马明认为HBase系统仍然存在一些问题，它的可靠性和有效性还有待提高。
欲了解Hadoop中国2011云计算大会(Hadoop in China 2011，HiC2011)的更多内容，请点击IT168报道专题：
