技术开发 频道

VMware王蔚东:Hadoop虚拟化大有可为

  目前,Serengeti被大量下载和试用,并获得了广泛的认可。 “VMware决定把它嵌入到Vsphere里,也就是说任何购买Vsphere5.5的用户, 都可以免费获得一个组件,它可以用来部署和管理Hadoop.这个组件叫作 Vsphere Big Data Extension,简称BDE。BDE作为商用软件,在可靠性,性能方面,要远远高于Serengeti。同时,它还支持多数市场上主流的Hadoop发行版, 如MP/R,Cloudera,Pivotal HD,Intel等等。”王蔚东介绍说。

  事实上,尽管Hadoop被证明可以与虚拟化进行结合,但人们不得不担心性能问题。王蔚东表示,由于安装了虚拟机,会占用服务器的一部分内存和CPU,会导致系统整理性能有所下降,把Hadoop装到虚拟机上,肯定会带来部分性能的下降,关键是下降幅度有多大。“比如,我们正在为国内一家比较大的企业做POC,他们是VMware的老用户,对虚拟化的了解程度很深,我们在向他们推荐我们的解决方案时,开门见山地提出对性能的担忧,提出了十多项性能测试指标,包括Terasort、K-means性能等。与物理环境的Hadoop比,整体测试结果表明,性能损失基本保持在15%的范围内,一些指标如NoSQL并发、访问、数据的吞吐能力、HIVE处理能力等,都与物理环境的Hadoop十分接近。”

  致力于降低Hadoop使用门槛

  据王蔚东介绍说,其工作大部分都与云计算相关,BDE是其工作中比较重要的一部分。“我们的CEO Pat Gelsinger提出了三个战略即软件定义的数据中心、混合云和终端用户计算,在这三个方面,都与大数据有直接的关系。比如软件定义的数据中心,针对于不同的应用场景,我的团队就要提供方案,快速部署和全面管理Hadoop集群。同时我们也在尝试把Hadoop作为一项服务,部署到PAAS层,以降低它的使用门槛,为企业中各类使用者提供灵活可控的大数据服务。”

  Hadoop作为一项技术,目前确实非常流行。王蔚东老师介绍说,国内的开发者和试用的企业已经有了很多了解,搞的比较好的发行版有MP/R, Cloudera;Horntworks;常去他们的网站会得到比较新的知识,另外大家也都别忘了Apache Hadoop社区,上面有最新的进展。目前,国内的开发者和企业, 早已不满足Hadoop的知识学习和研究,更关注Hadoop的具体应用。

  “我们的团队,也在最近推出了自己的博客(http://vbigdata.blog.51cto.com/),里面有我们提出Hadoop虚拟化的概念,技术架构和细节,围绕着Hadoop虚拟化会出现的各种问题,也会有Hadoop虚拟化的应用实践。这里,我欢迎大家到我们的博客上进行交流,在大数据领域和我们共同成长。”

  关于Hadoop中国技术峰会,王蔚东老师表示几乎每届都会参加,“前几年主要是Hadoop技术的介绍和推广,更偏重纯技术,但是这个峰会对国内普及Hadoop为主的大数据相关技术产生了巨大的推动作用。近一、两年,会议的重心产生了些变化,即由纯技术+学术转变到技术+应用,我认为这是一个可喜的变化,证明Hadoop终于开始在国内广泛应用了,同时也催生了一些新的角色,如Data Scientist,Data Governor。”

  这些变化,也直接证明了国内,大家真正开始重视数据,逐渐把数据作为一种潜在的资源进行保护和利用。Hadoop是一项开源技术,随着这项技术逐渐成熟,势必会有更广泛的应用,但是应用的深度和广度,需要众多的解决方案提供商,Hadoop专家,数据管理专家,成熟的企业应用需求,类似一套完整的生态系统保证,同时,我们也希望这次峰会能提供契机, 帮助国内Hadoop领域开始建立这样的一套生态系统。

  据悉,在本次大会上,王蔚东老师将会为大家介绍VMware在虚拟Hadoop技术方面的最新进展,如对YARN 的支持,如何做到对Hadoop集群的灵活控制。在应用方面,会介绍如何解决传统物理Hadoop集群数据安全性的问题。“同时我也非常乐意把我们在国内外的一些最新的成功案例介绍给大家,还包括我们从着手开始一个项目到方案落地的一整套实施模式。另外, 也会和大家一起探讨未来Hadoop的发展方向,听听大家对Hadoop在虚拟平台上的看法;把Hadoop技术引入BI系统,是否可以取代现在的一体机等等。”

  Hadoop中国技术峰会2013是国内基于Hadoop平台的第一次全产业链的大数据行业技术峰会,大会将围绕Hadoop生态系统展开全方位的技术分享、专题讨论与成果展示。大会议题将涉及以下七大方面:Hadoop技术创新、Hadoop基础架构部署与优化、虚拟化与Hadoop、Hadoop在互联网领域的应用、Hadoop在非互联网行业的应用、Hadoop与企业现有IT架构的整合、大数据创业与投资。

  更多精彩尽在2013年11月22~23日的Hadoop中国技术峰会(China Hadoop Summit 2013),北京永泰福朋喜来登酒店。

  现在报名即可享购票优惠。

1
相关文章