在CSND主办的 “开源技术大会·2014”(OSTC 2014)下午的分会场2,分别由Python中文社区创办人之一Zoom.Quiet(周琦)、腾讯数据平台部高级工程师赵伟、CloudStack中国社区创办者李学辉、用友公有云技术总监薛正华、Docker中文社区发起人马全一、网易开源工程师王斌、Intel公司开源技术中心&Node-Webkit项目维护者王文睿、知名前端工程师魏子钧(大城小胖)、DWZ富客户端(jUI)创始人之一张慧华为我们带来了精彩分享。本分会场主持人是Python中文社区创办人Zoom.Quiet(周琦)。 主持人 Zoom.Quiet(周琦) 下面是本会场部分演讲嘉宾的演讲内容介绍。 Zoom.Quiet(周琦):但行好事,莫问前程 第一个演讲的是Python中文社区创办者之一Zoom.Quiet(周琦)。Zoom.Quiet除进行演讲外,还担任本分会场的主持人。他的演讲十分有趣幽默,不断引起在场观众的笑声,其演讲幻灯采用了 “高桥流”形式。 周琦介绍了自己创建和自己经常活跃在其中的一些社区,如CZUG、哲思、啄木鸟社区、EZUG、珠海谷歌开发者社区等,并总体上对社区进行了分类:
他介绍说,除了技术社区,其他类型的社区都存在绩效考核(KPI),而在他的演讲中着重介绍的就是技术社区。社区在中国面临着合法性、定位、资金、参与、监管等方面面临共同的困境,对技术社区来说也存在一系列问题,如小白多、喷子多、伸手党、“外亮圆”(“外国的月亮比中国圆”)等难题。技术社区的问题是一件大事情,我们都应该给予关注,上面提到的那些问题也都是事实,我们也得承认。周琦认为,技术社区非常单纯,它在本质上就是一个“自发组织的学习环境”,我们也需要将中国式社区的发展经验汇集起来共同推动中国开源社区的发展。
赵伟:基于开源软件构建腾讯大数据平台
赵伟 接下来为大家演讲的是来自腾讯的赵伟。赵伟参与了腾讯大数据平台TDW项目的研发,目前是该项目的技术负责人。他同时也在腾讯引入和推广了Hive、Pig、PostgreSQL、ZFS等开源技术。 TDW,是“腾讯分布式数据仓库”的简称,是腾讯内部最大的分布式系统。目前,TDW为腾讯内部提供离线海量数据分析服务,如数据挖掘、产品报表、经营分析等。
TDW在基于Hadoop、Hive和PostgreSQL之上,进行了大量定制和优化。如,Hive方面进行了元数据重构、支持多HDFS、与PostgreSQL互联互通、基于角色的权限管理等定制和优化。 TDW作为腾讯的计划开源项目之一,目前其代码与文档准备基本完成,正在做协议选择与法律风险评估。后续,TDW计划支持YARN、增加安全机制、支持更多存储和计算引擎、增加对JDK1.7的支持。 |