技术开发 频道

大象的崛起!Hadoop七年发展风雨录

    【IT168 资讯】2009 年 3 月,Cloudera推出CDH(Cloudera’s Distribution including Apache Hadoop)平台,完全由开放源码软件组成,目前已经进入第3版。

  2009年5月,Yahoo的团队使用Hadoop对1 TB的数据进行排序只花了62秒时间。

  2009年7月 ,Hadoop Core项目更名为Hadoop Common;

  2009年7月 ,MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。

  2009年7月 ,Avro 和 Chukwa 成为Hadoop新的子项目。

  2010年5月 ,Avro脱离Hadoop项目,成为Apache优异项目。

  2010年5月 ,HBase脱离Hadoop项目,成为Apache优异项目。

  2010年5月,IBM提供了基于Hadoop 的大数据分析软件——InfoSphere BigInsights,包括基础版和企业版。

  2010年9月,Hive( Facebook) 脱离Hadoop,成为Apache优异项目。

  2010年9月,Pig脱离Hadoop,成为Apache优异项目。

  2011年1月,ZooKeeper 脱离Hadoop,成为Apache优异项目。

  2011年3月,Apache Hadoop获得Media Guardian Innovation Awards 。

  2011年3月, Platform Computing 宣布在它的Symphony软件中支持Hadoop MapReduce API。

  2011年5月,Mapr Technologies公司推出分布式文件系统和MapReduce引擎——MapR Distribution for Apache Hadoop。

  2011年5月,HCatalog 1.0发布。该项目由Hortonworks 在2010年3月份提出,HCatalog主要用于解决数据存储、元数据的问题,主要解决HDFS的瓶颈,它提供了一个地方来存储数据的状态信息,这使得数据清理和归档工具可以很容易的进行处理。

  2011年4月,SGI( Silicon Graphics International )基于SGI Rackable和CloudRack服务器产品线提供Hadoop优化的解决方案。

  2011年5月,EMC为客户推出一种新的基于开源Hadoop解决方案的数据中心设备——GreenPlum HD,以助其满足客户日益增长的数据分析需求并加快利用开源数据分析软件。Greenplum是EMC在2010年7月收购的一家开源数据仓库公司。

  2011年5月,在收购了Engenio之后, NetApp推出与Hadoop应用结合的产品E5400存储系统。

  2011年6月,Calxeda公司(之前公司的名字是Smooth-Stone)发起了“开拓者行动”,一个由10家软件公司组成的团队将为基于Calxeda即将推出的ARM系统上芯片设计的服务器提供支持。并为Hadoop提供低功耗服务器技术。

  2011年6月,数据集成供应商Informatica发布了其旗舰产品,产品设计初衷是处理当今事务和社会媒体所产生的海量数据,同时支持Hadoop。

  2011年7月,Yahoo!和硅谷风险投资公司 Benchmark Capital创建了Hortonworks 公司,旨在让Hadoop更加鲁棒(可靠),并让企业用户更容易安装、管理和使用Hadoop。

  2011年8月,Cloudera公布了一项有益于合作伙伴生态系统的计划——创建一个生态系统,以便硬件供应商、软件供应商以及系统集成商可以一起探索如何使用Hadoop更好的洞察数据。

  2011年8月,Dell与Cloudera联合推出Hadoop解决方案——Cloudera Enterprise。Cloudera Enterprise基于Dell PowerEdge C2100机架服务器以及Dell PowerConnect 6248以太网交换机 。

  在梳理的过程中,笔者发现了上图,它很好地展现了Hadoop生态系统是如何在使用中一步一步成长起来的。

0
相关文章