设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 开源热点 查看内容

LUPA开源周刊:Spark Summit 2015,Ceph Day来到中国

2015-7-4 22:01| 发布者: joejoe0332| 查看: 24340| 评论: 0|原作者: LUPA开源社区|来自: LUPA开源社区

摘要: 这周,Spark Summit 2015的消息来啦!在此次峰会里感受最深的就是中国的Spark发展太快了!中国首场Ceph Day在北京由Intel和RedHat联合举办,本周相关媒体基于与Intel和Redhat相关负责人的交流,补充说明Cpeh的一些发 ...


  2015年6月15日-17日,Spark Summit 2015于美国旧金山举行,近2000位技术专家见证和参与了这次盛会。历时三天的会议里,来自Databricks、UC Berkeley AMPLab、Baidu、Alibaba、Yahoo!、Intel、Amazon、Red Hat、Microsoft等数十个机构共分享了近100个精彩纷呈的报告,其中Keynotes演讲主要集中在前两日的上午,下午则分为开发者、数据科学、应用和用户案例分会场,整个会议的第三天是由培训构成。与往年一样,Keynotes的分享主要采取特性分享加Demo演示,唯一区别就是本次峰会的Demo演示时间稍微显长。


  在此次峰会里感受最深的就是中国的Spark发展太快了,Spark发起人Databricks的CTO Matei Zaharia在Keynotes重点指出:Spark最大的集群来自腾讯——8000个节点,单个Job最大分别是阿里巴巴和Databricks——1PB,震撼人心!同时,截止2015年6月,Spark的Contributor比2014年涨了3倍,达到730人;总代码行数也比2014年涨了2倍多,达到40万行。

  此外,以Spark为中心的开源生态系统,从应用、运行环境、数据源等方面都有巨大的发展,基本囊括了与大数据相关的所有系统,具体请看下图:


  Matei Zaharia在演讲中表示,当下Spark最重要的核心组件仍然是Spark SQL。而在未来的几次发布中,除了性能上的更加优化外(包括代码生成和快速Join操作),还要提供对SQL语句的扩展和更好地集成。2015年发展的重点将是数据科学和平台API化,除了传统的统计算法外,还包括学习算法,使得SparkR得到了长足的发展,同时也会使Spark的生态系统越来越完善。此外,还有Tungsten项目和DAG可视化、调试工具等同样是持续的重点发展方向。

  被Google收购的Timeful公司的数据副总裁华人Gloria Lau在她的演讲“A Tale of a Data-Driven Culture”中重点强调千万我们不要把招过来的数据科学家都最后培养成只会SQL的“猴子”了,而是需要让数据科学家集中在怎么样打造数据产品上来。更多内容,大家可以关注本次专辑……

  中国首场Ceph Day于2015年6月6日在北京由Intel和RedHat联合举办,吸引了约200人参加。《Ceph Day中国首秀,哪些技术趋势最值得关注?》一文总结了当日演讲嘉宾和圆桌会议谈到的Ceph重要技术趋势,本文基于与Intel和Redhat相关负责人的交流,补充说明Cpeh的一些发展问题,并分享Ceph Day的调查问卷结果汇总,让大家对Ceph在中国的发展和应用状况有一个更清晰的认识。

  Intel大数据技术组总经理马子雅分享的一项调查结果显示,Ceph是非常受欢迎的开源存储软件, Ceph RBD在块存储层面受欢迎的程度远远超过了LVM、GlusterFS等,并且最近半年中这个差距正在扩大。这个结果,与原本预计百人规模的Ceph Day活动却迎来近200人到场的情况相吻合。按照马子雅的观点,开源存储是数据量及数据复杂性疯长的良药,但开源存储为什么一定是Ceph呢?Ceph和其他的存储技术各自最终的市场份额会是多少?



  Intel亚太研发中心云计算及大数据实验室经理段建刚认为,首先开源技术在云计算大数据领域的未来很好,其次存储是非常基础的需求,Ceph具有同时支持块、文件和对象的先进架构,在稳定性、可管理性上有很强的优势,同时性能也可以满足用户需求,已经获得很多国外用户的青睐,所以Intel看好Ceph的未来。这也是Intel从2012年开始选择大力投入Ceph社区的原因。

  来自RedHat的Ceph社区总监Patrick McGarry谈到,所有人都需要存储,尤其是在这个大数据时代,而Ceph是不错的技术,如沃尔玛、Yahoo!等,基本各个行业都有用户在使用Ceph。详细的,大家不妨在本次专辑里了解一下……


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部