设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客

大象的崛起:Hadoop七年发展风雨录

2011-9-7 11:06| 发布者: joejoe0332| 查看: 4932| 评论: 0|原作者: 蓝调|来自: it168

摘要:   在互联网这个领域一直有这样的说法:“如果老二无法战胜老大,那么就把老大赖以生存的东西开源吧”。当年与Google还是处在强烈竞争关系的Yahoo!于是招了Doug(Hadoop创始人)进来,把Google老大赖以生存的DFS与Map ...

  2009年,为了应对不断增长的数据量,中国移动启动基于Hadoop的“大云”项目。当时,中国移动有一个256个结点的Hadoop系统,共有1024个CPU,主要还是一个研究性系统。

  2009 年 3 月,Cloudera推出CDH(Cloudera’s Distribution including Apache Hadoop)平台,完全由开放源码软件组成,目前已经进入第3版。

  在2009年5月,Yahoo的团队使用Hadoop对1 TB的数据进行排序只花了62秒时间。

  2009年7月 ,Hadoop Core项目更名为Hadoop Common;

  2009年7月 ,MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。

  2009年7月 ,Avro 和 Chukwa 成为Hadoop新的子项目。

  2010年5月 ,Avro脱离Hadoop项目,成为Apache顶级项目。

  2010年5月 ,HBase脱离Hadoop项目,成为Apache顶级项目。

  2010年5月,IBM提供了基于Hadoop 的大数据分析软件——InfoSphere BigInsights,包括基础版和企业版。

  2010年9月,Hive( Facebook) 脱离Hadoop,成为Apache顶级项目。

  2010年9月,Pig脱离Hadoop,成为Apache顶级项目。

  2011年1月,ZooKeeper 脱离Hadoop,成为Apache顶级项目。

  2011年3月,Apache Hadoop获得Media Guardian Innovation Awards 。

  2011年3月, Platform Computing 宣布在它的Symphony软件中支持Hadoop MapReduce API。

  2011年5月,Mapr Technologies公司推出分布式文件系统和MapReduce引擎——MapR Distribution for Apache Hadoop。

  2011年5月,HCatalog 1.0发布。该项目由Hortonworks 在2010年3月份提出,主要用于解决HDFS存储瓶颈。

  2011年4月,SGI( Silicon Graphics International )基于SGI Rackable和CloudRack服务器产品线提供Hadoop优化的解决方案。

  2011年5月,EMC为客户推出一种新的基于开源Hadoop解决方案的数据中心设备,以助其满足客户日益增长的数据分析需求并加快利用开源数据分析软件。EMC将通过一个基于分布式的Hadoop解决方案集成自己的Greenplum软件,从而可以在一个可扩展的设备里进行海量数据分析任务(GFS+Greenplum)。Greenplum是EMC在2010年7月收购的一家开源数据仓库公司。

  2011年5月,在收购了Engenio之后, NetApp推出与Hadoop应用结合的产品E5400存储系统。

  2011年6月,Calxeda公司(之前公司的名字是Smooth-Stone)发起了“开拓者行动”,一个由10家软件公司组成的团队将为基于Calxeda即将推出的ARM系统上芯片设计的服务器提供支持。并为Hadoop提供低功耗服务器技术。

  2011年6月,数据集成供应商Informatica发布了其旗舰产品,产品设计初衷是处理当今事务和社会媒体所产生的海量数据,同时支持Hadoop。

  2011年7月,Yahoo!和硅谷风险投资公司 Benchmark Capital创建了Hortonworks 公司,旨在让Hadoop更加鲁棒(可靠),并让企业用户更容易安装、管理和使用Hadoop。

  2011年8月,Cloudera公布了一项有益于合作伙伴生态系统的计划——创建一个生态系统,以便硬件供应商、软件供应商以及系统集成商可以一起探索如何使用Hadoop更好的洞察数据。

  2011年8月,Dell与Cloudera联合推出Hadoop解决方案——Cloudera Enterprise。Cloudera Enterprise基于Dell PowerEdge C2100机架服务器以及Dell PowerConnect 6248以太网交换机


酷毙
2

雷人

鲜花
1

鸡蛋

漂亮

刚表态过的朋友 (3 人)

  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部