RSS订阅


    抓虾    pageflakes
    Rojo    google reader
    netvibes    my yahoo
    newsgator    blogdtnes
    鲜果    哪吒
    有道

新的发展契机:Google及其云智慧

来源: LUPA开源社区
发布时间: 2008-03-18 23:00 作者: webmaster 来源: 商业周刊 版权申明

字体: | 上一篇 下一篇 | 打印


文章来源于http://www.lupaworld.com
  狂热的学习者

  2006年11月10日,排成阵列的计算机群出现在华盛顿大学计算机科学学院的教学楼里。比希利亚和几个技术负责人得想办法把将近1吨重的机柜抬上4层放到机房里。他们最终解决了这个问题,并准备在第二年1月开始上课。

  比希利亚的母亲布伦达说,她的儿子似乎从小就注定要走一条不平凡的道路。他直到两岁才开口说话,但很快就开始成句成句地说。最早的一次是家人开车行至离家不远的华盛顿吉格港时,一只小虫子从打开的车窗飞进来,只听到从后排座传来比利亚的声音:“妈妈,有一件物体在我嘴里。” 在学校里,这个男孩没完没了的提问和飞快的学习进度惹恼了老师。父母看到他很伤心、很受挫,便把他带回家教了3年。比希利亚说,那段时间他失去了很多小伙伴,但是学会了如何成为一个生意人。他对冰岛野马兴趣浓厚,并在十六七岁时投身到养马行当。他的父亲吉姆回忆道,一次,他们开车一直向北行驶到马尼托巴买了马匹,却并没有考虑如何把它们运回家。“整个旅行就像塞维·蔡斯电影里的场景,”他说。比希利亚学会了用计算机为他的贩马事业和父亲的豪华游艇业务制作网页。比希利亚断定计算机比养马更有前途,因此义无反顾地报考了华盛顿大学,并选修了尽可能多的学科,包括数学、物理和计算机相关学科。

  2006年年末,当比希利亚往返于Google大厦和西雅图之间筹备“Google 101”计划时,他运用生意人的技巧,招募了一支组织松散的志愿者队伍。他和学院的实习生一起设计课程,还在Google公司位于学校附近的华盛顿州科克兰德分部拉拢部分同事,让他们抽出20%的时间来帮忙教课。比希利亚听从了施米特的建议,把“Google 101”集中在学生们在学习过程中容易上手的方面。“我基本想的是,什么课程我能在两个月里教会他们,同时又真正有用和重要?”他回忆道。最终他的答案是 MapReduce。比希利亚十分推崇MapReduce,这是Google数据计算的核心软件。公司著名的搜索运算法为每一次搜索提供信息, MapReduce则传递出速度。它把每个任务分解为成百甚至上千块小任务,然后发送到计算机集群中。眨眼之间,每台计算机传送回自己的那部分信息, MapReduce则迅速整合这些反馈并形成答案。虽然也有一些技术具有同样的功能,但MapReduce速度更快且显示出几乎可以解决无限任务的能力。提到MapReduce,比希利亚变得十分兴奋和狂热:“我记得刚毕业时来到Google学习MapReduce,这的的确确改变了我对计算机科学乃至所有事情的想法。”他把该软件称为“非常简单却极其卓越的模型”。这个软件是由其华盛顿大学校友杰弗里·迪安开发的。因此通过回到母校教授 MapReduce,比希利亚会将这个软件和“这种思考方式”带回源头。

  只有一个阻碍。MapReduce曾经安全地“沉寂”在Google主机中=? 而且不允许外界使用,对于“Google 101”项目也一视同仁。Google曾拿出一部分相关信息与他人共享,以开发开源版本“Hadoop”。当时的想法是在不泄露核心技术的前提下,推动自身的标准成为“云”计算的体系结构。开发Hadoop的团队属于一家名为Nutch的公司。说也奇怪,这家公司现在归入雅虎麾下,雅虎希望依靠 MapReduce的衍生产物给自己的数据计算提供一点Google“云”的魔力。好在Hadoop仍然保持开源状态,这意味着Google团队能对其加以应用并可免费安装在华盛顿大学的计算机集群中。

  “Google 101”一出现在冬季学期的课程安排中,学生们立即蜂拥而来选修这门课程。起初比希利亚和Google的同事们尝试自己教课,不过后来他们及时地把这一工作转交给华盛顿大学的专职教员。“他们的讲解更加清晰,”比希利亚表示。接下来的几周里,学生们学习如何调整自己的程序来适应Google计算机,并雄心勃勃地设计开发网络规模的项目,这些项目涵盖了从维基百科的编辑分类到互联网垃圾邮件的鉴别处理等各个方面。2007年的整个春天,有关这门课程的消息不胫而走,其他大学的院系也开始要求参与“Google 101”计划。很多人迫切渴望了解“云”的相关知识和计算能力,特别是在科研方面的计算。实际上在每个领域,从各种传感器、分析设备以及先进的测量工具产生的大量新数据浩如烟海,让科学家们大伤脑筋。这些数据可能用于开发新药品和疗法、制造新的清洁能源、甚至预测地震,然而绝大多数科学家缺少设备来存储和筛检这些“数据宝藏”。“我们真是被淹没在了数据里,”美国国家科学基金会的助理主任周以真(Jeannette Wing)表示。

  IBM的慷慨

  对Google计算能力的巨大需求倒是把比希利亚难住了。他能完成第一批计算机集群的采购安装已经算是很幸运了,可是他能像这样一次又一次、最终在每个计算机学院都装上一个微型的Google“云”吗?当然不现实。为了把“Google 101”计划扩展到全球各地的大学,各参与方必须要接入到共享的资源中。因此比希利亚需要一个更大的“云”集群。幸运之神随着IBM董事长彭明盛突访 Google大厦而降临。这天成了“Google的彭明盛日”,一位IBM的研究员表示。那是一个冬日,如果要在Google园区里来场沙滩排球可能会有点寒冷,不过彭明盛中午在Google的餐厅体验到了传说中的免费大餐。随后,他和他的团队与施米特以及包括比希利亚在内的十几名Google工程师座谈交流,他们在白板上写写画画、讨论着“云计算”。IBM一直希望部署“云”系统来为企业客户提供数据和服务。与此同时,在彭明盛的领导下,IBM已经成为 Linux系统等开源软件的领先倡导者。这可是蓝色巨人在软件战役中的重点,尤其是在对抗微软的战斗中。如果Google和IBM在“云”上合作,它们可能共创这种基于Google标准(包括Hadoop版本)的“云计算”的未来。

  Google当然已在这个项目上先行一步,即比希利亚的“Google 101”计划。就在会面的当天,比希利亚小小的实践成为由两家技术巨头的首席执行官支持的一项重大计划的开端。当彭明盛那天下午离开Google时,比希利亚和IBM公司的丹尼斯·全就被指派组建Google-IBM的联合大学“云”的原型。在接下来的3个月中,他们在Google总部并肩作战。(比希利亚说,从那时起“云”计划从“20%时间”变成了他的全职工作。)他们的主要工作是把IBM的商用软件和Google的服务器进行整合,并装配大量包括 Hadoop在内的开源程序。2007年2月,他们在加州山景城向高层领导、同时通过视频向位于纽约阿蒙克的IBM总部人员首次展示项目原型。丹尼斯·全用手机从“云”集群中下载数据,让在场人员赞叹不已。(比希利亚说,虽然与核心项目关系不大,但这的确是场很精彩的演出。)

  “Google 101”计划获得了通过。这一计划是首先将“云计算”用一年时间扩展到全美的多家大学,之后在全球部署。各所大学将会继续开发“云”,创建工具和应用程序,同时培养出大批的计算机科学家来继续建设和管理“云”。那些开发者应该能在Google这样的网络公司找到工作。施米特喜欢把这些数据中心比作极其昂贵的粒子回旋加速器。“物理界只有几台粒子加速器,”他说,“每一台都十分重要,因为你如果是个顶尖的物理学家,你需要在有粒子加速器运行的实验室工作。那才是创造历史的地方,那才是诞生发明的地方。所以我想,假如你把‘云’当作由小型计算机群组成的超级计算机,那么从科学观点讲,我们拥有最能吸引人才的那种计算机。”

  随着商用和科学数据量日益壮大,数据计算能力转变成一种战略种资源和一种资本。“从某种意义上说,”雅虎研究主管普拉巴卡·拉加万表示,“世界上不过有5台真正的计算机。”他意指Google、雅虎、微软、IBM和亚马逊这几家公司。他表示,除此之外,没有哪家能有相似的实力把“电流”转化为数据计算能力。毫无疑问,各种商业模式都会进化。Google及其对手能与客户合作、或许是通过交换计算能力来取得数据的访问权。它们可以在“云”中引入合作伙伴进行次级项目的开发,比如公司在2007年11月宣布的清洁能源计划。行业分析家表示,随着大型数据中心电费开支每年以2000万美元的速度上升,也只有Google能够以其智力资源和服务器容量来承担重任,以图在寻找创新能源方面取得突破。

  用于研究的“云”会是什么样子?微软负责外部研究的副总裁Tony Hey介绍,他们把“云”建成大型的虚拟实验室,应用新一代管理程序配以适当人工来管理数据,分级别适度开放给研究人员。他说,授权用户将开发出新工具、补充新数据,并与各地同事广泛共享。据他预测,在这些新的实验室中,“你可以通过分析从别人那里汇集来的数据赢取诺贝尔奖”。位于加州Almaden的 IBM研究运营部门负责人马克·迪安表示,短短几年内,商用和科学用途的结合将产生“云”网络,我们尽可放开想象。“与这个相比,”他说,“现在的网络微不足道。我们将会嘲笑现在的网络实在太小。”然而,如果这个“太小”的网络对于Google帝国发展都已经足够大了,那么没人能预测巨型的“云”网络可以提供什么样的机会。 2007年11月的一天,比希利亚刚刚从中国回到美国,还没来得及倒时差。他在中国的几所大学介绍了“Google 101”的计划。他的时间表排得满满当当,不仅要和IBM共同建立“云”集群,还需要处理华盛顿大学、加利福尼亚大学伯克利分校、斯坦福大学、麻省理工学院、卡内基-梅隆大学以及马里兰大学等6所高校“云”计划启动的相关事宜。此时,他把一位摄像师请到会议室,线缆和灯光占满了整张桌子。他将录制一段有关 “云”教学的宣传片,这段视频或许会选择在YouTube网站发布。

  埃里克·施米特走了进来。52岁的他几乎比比希利亚年长一倍,与爱徒清瘦的体格相比,他显得强壮不少。比希利亚把他引到摄像机面前并解释这个宣传计划。他们会录制采访中的音频,再拍几个施米特的单人正面镜头。比希利亚把这些镜头称为“B级胶片”。施米特同意了计划并落座下来。他想到了更好的主意,他告诉摄像师拍下全景而省略单人镜头。的确,他和比希利亚忙得怎么有时间单干呢?
文章来源于http://www.lupaworld.com

声明:LUPA开源社区刊登此文只为传递信息,并不表示赞同或者反对。
22/2<12

查看全部评论(0)我来说两句 直接向LUPA提出您的宝贵建议

-5 -3 -1 - +1 +3 +5