海量数据正在不断生成，对于急需改变自己传统IT架构的企业而言，面对海量数据，如何分析并有效利用其价值，同时优化企业业务已成为现代企业转型过程中不可避免的问题。
作为海量数据处理的一个重要工具——Hadoop也开始受到了越来越多人的关注。第四届Hadoop大会——Hadoop Summit 2011大会6月29日在Santa Clara举行了，备受关注的Yahoo新成立的子公司——Hortonworks在此次大会上亮相，号称比Hadoop快三倍的MapR也亮相了、同时一些新的项目比如HCatalog等也受到了技术人员的关注。我们将此次会议的一些重要信息整理如下，提供给Hadoop的从业者们参考。 三大Hadoop支持商争奇斗艳 Hortonworks——小象变成了大象
Eric Baldeschwieler做了主题演讲，他也是Hortonworks（Yahoo剥离出的专门运营Hadoop的新公司）未来的CEO。Hortonworks公司将专门负责Hadoop的开发和运维。他表示新公司的目标是提供商业上的支持，并为客户提供完整的Apache Hadoop平台。他还表示Cloudera是他们的竞争对手，并且表示两家公司非常相似。（Eric并未提及MapR，也许在他看来，由EMC赞助的MapR至少在开放性上还很难与Hortonworks和cloudera相比较，不过在对Hadoop的支持上，Cloudera、MapR和Hortonworks将是最有力的三个贡献者，从LOGO即可看出，Hadoop已经从小象变成了三只大象）。Cloudera提供他们自己的Hadoop分布式系统基础架构，类似于Apache发布的版本，Hortonworks的目标是提供类似的服务。 此外，Sanjay Radia也谈到了Hadoop对企业的影响，Hortonworks在工作安全性（防止用户数据被别人删除）、服务水平协议（SLA）、可预测性和资源共享调度等方面进行了改善。 MapR——最大处理1010EB数据
MapR——MC Srivas介绍了MapR的算法，以及和Apache Hadoop的不同。MapR的Hadoop Distribution对Hadoop的可靠性、性能和易用方面都做了大量的提升。HDFS可以处理10-50PB的数据，而MapR则可以处理1010EB数据！(什么概念？！）HDFS的瓶颈是2000节点的集群，而MapR的的处理能力则是10000个节点以上的集群。 在NameNode HA方面，MapR把元数据放在了所有的节点，这样不仅可以scale还可以实现HA，由于元数据很少检索，因此有更多的内存可用于MapReduce处理。另外，MapR与Pig和Oozie兼容，HDFS也完全兼容了NFS协议，支持随机读写功能。 此外，MapR还配备了快照，并号称不会出现SPOF单节点故障，且与现有HDFS的API兼容，因此非常容易替换原有的系统。 目前，MapR M3 Free版本已经提供下载。 Cloudera——3.5版本发布
CLoudera新发布的Enterprise 3.5是此次大会的亮点之一。产品副总裁Charles Zedlewski表示，“最大的变化在于能够让用户在一两分钟内就可以安装和配置Google-like这样的架构”。 据了解，3.5版本能够自动配置、重启服务器、添加删除硬件。另外还有一个活动监视器，整合各组件的用户行为，并提供实时查看活动、活动历史以及工作；同时它还提高了资源和授权的管理，并改善LDAP（Lightweight Directory Access Protocol）系统安全。 Cloudera 3.5提供了10个组件。Charles Zedlewski还表示将进一步增加3到4个CDH的组件，例如压缩算法，利用Google的Snappy加快数据的导入和导出。 免费的Express版已经可以下载，这个版本可自动安装和配置50个节点。 |
