设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 业界资讯 开源资讯 查看内容

微软推出公测版Dryad平台PK MapReduce

2010-12-23 10:22| 发布者: joejoe0332| 查看: 4034| 评论: 0|原作者: 新浪科技|来自: 新浪科技

摘要:   北京时间12月21日上午消息,微软发布了公测版Dryad平台,成为谷歌MapReduce分布式数据计算平台的竞争对手。微软的Dryad项目主要研究用于编写并行和分布式程序的编程模型。  目前,科技界已经有一款发展迅速的 ...
  北京时间12月21日上午消息,微软发布了公测版Dryad平台,成为谷歌MapReduce分布式数据计算平台的竞争对手。微软的Dryad项目主要研究用于编写并行和分布式程序的编程模型。

  目前,科技界已经有一款发展迅速的开源版MapReduce:Apache的Hadoop项目。微软至少有一个部门正在使用Hadoop,并且为其贡献代码。现在微软推出自己的产品并不令人奇怪,因为Hadoop毕竟是开源项目。

  微软在博客中表示,已经发布了Dryad平台以及DryadLINQ编程语言的“社区技术预览”。 DryadLINQ被用于在该平台上构建应用。与谷歌的专有平台MapReduce相似,Dryad也通过分布式计算机网络计算海量数据。但与 MapReduce不同的是,Dryad是针对运行Windows HPC Server的计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。

  2004年,谷歌发布了两篇关于MapReduce和分布式文件系统GFS的研究报告,这两篇报告成为Hadoop的基础。Hadoop最初是由开源网络爬虫Nutch的创始人达格·卡廷(Doug Cutting)开发的。

  Apache 将Hadoop变为开源项目,雅虎也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年,微软收购了语义搜索企业Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。

  微软甚至允许原Powerset员工承诺向Hadoop贡献代码。Powerset还成立了Hadoop的姊妹项目HBase,模仿谷歌的BigTable分布式数据库。

  事实上,Dryad和DryadLINQ早在微软收购Powerset之前就已经存在。微软于2007年首次发布了关于该技术的研究报告,并于2009年夏向学术界发布了非商业版Dryad和DryadLINQ。

  Dryad的“社区技术预览”要求必须有基于Windows HPC Pack 2008 R2 Enterprise的计算机集群,并且安装有Service Pack 1。已经注册HPC Pack 2008 R2的用户可以获取该社区技术预览。

  类似于Dryad,Hadoop也提供自己的查询语言,事实上,它有两种查询语言。雅虎开发的查询语言被称为Pig,而Facebook开发的更高级语言被称为Hive。

酷毙

雷人

鲜花

鸡蛋

漂亮

相关阅读

  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部