【IT168 现场报道】12月3日，为期两天的Hadoop中国2011云计算大会(Hadoop in China 2011，HiC2011)在北京会议中心完美谢幕。作为Hadoop in China社区的一次年度技术盛会，可谓明星云集。大会特别邀请了Lucene、Nutch、Hadoop等开源软件创始人，Apache软件基金会主席兼Apache Hadoop项目负责人Doug Cutting先生，Condor创始人University of Wisconsin–Madison的Miron Livny教授， Ohio State University计算机系主任，Robert M. Chritchfield讲席教授张晓东，以及来自Google、Facebook、Yahoo!、eBay、中移动、华为、百度、腾讯、EMC等国内外著名互联网公司和IT企业的学者和资深开发人员到场演讲并进行技术交流，部分专家是首次来中国访问。

　　Hadoop中国2011云计算大会的主题为“海量数据掘宝”，会议的主要目标是理解实际需求，聆听大师观点，促进应用实践，发扬开源精神。近几年来，越来越多的国内外互联网公司和传统企业都已意识到数据资产规模化带来的潜在价值。以Hadoop为代表的大规模数据处理(Big Data Processing)技术的日趋成熟使得“业务为王”向“数据为王”转变。如淘宝公司的“数据魔方”应用，基于全网交易数据的分析和挖掘，向用户提供行业动态热点和市场发展趋势的深度数据服务。大规模数据处理技术的发展往往超出想象。拿已有6亿用户的Facebook的为例，大规模数据处理更向着实时化迈进，其ETL(Extract, Transform, Load)延迟从原来的24到48小时演进到小于10秒，以满足在线和实时数据分析的需求。可以看出“如果性能不满足需求就是功能缺失”这样的系统设计指导思想。此外，规模化的数据如果没有合适的“掘宝工具”是无法体现其价值的。信息检索、内容挖掘、自然语言理解、数据可视化、计算广告学、地理信息系统等领域均采用Hadoop技术研究和开发从数据到价值的各类工具，起到了“海量数据掘宝”的作用。

　　Hadoop中国2011云计算大会分主题演讲与分会场报告会两个环节。大会第一天，Apache软件基金会主席兼Apache Hadoop项目负责人Doug Cutting先生发表了题为“Apache Hadoop and the Big Data Platform”的开幕式演讲。Condor创始人Miron Livny教授从机遇与挑战的角度发表了题为“The Challenges and Opportunities in Interfacing Hadoop with Condor”的主题演讲。Google资深工程师Grzegorz Malewicz以MapReduce为切入点，从技术角度，发表“Beyond MapReduce -- a Perspective from Google”主题演讲。EMC的专家则从Greenplum大数据分析平台的角度发表“Future of Big Data Analytics”主题演讲，阐述大数据分析的未来。大会第二天，eBay的专家从Hadoop平台的角度，发表了“Evolution and Revolution of eBay’s Hadoop Stack”主题演讲。Yahoo的专家则选择了Zookeeper，演讲主题为“Distributed Coordination via ZooKeeper”。中国移动从应用的角度发表题为“电信运营商大数据处理应用研究和实践”的主题演讲。Ohio State University计算机系主任，Robert M. Chritchfield讲席教授张晓东发表题为“DOT：一个开发处理大数据软件的分析模型”的主题演讲。会场报告会主要分为四大部分，分别为：Hadoop生态系统，大数据技术与应用，NoSQL系统及应用，云计算研究。

　　Hadoop社区的繁荣有目共睹。越来越多的国内外公司参与到Hadoop社区开发，或者直接将线上使用的软件开源。这极大地促进了Hadoop技术在国内的推广发展，扩大了大规模数据处理的应用范围。我们欣喜地看到，学界对Hadoop的研究热情不减，今年的VLDB上就出现了数篇与MapReduce/Hadoop相关的论文。这说明 Hadoop还有很多可完善可改进的地方。另一方面，一些商业软件也在向Hadoop技术靠拢，兼容Hadoop软件栈。同时，国内外出现了一批以提供 Hadoop技术咨询和服务的公司，Hadoop大规模数据处理技术的商业价值逐渐得到业界的重视。