设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 开源热点 查看内容

LUPA开源周刊:Linux迎25周年 Fuchsia系统揭秘

2016-8-28 22:11| 发布者: joejoe0332| 查看: 8077| 评论: 0|原作者: LUPA开源社区|来自: LUPA开源社区

摘要: 本月是Linux操作系统发布25周年。1991年8月25日, Linus Torvalds在comp.os.minix新闻组里宣布了Linux项目, 声称它只是一个业余性质的项目,不会像gun那样庞大和专业。但经过了25年,Linux Kernel的开发比以往任何 ...
  本月是Linux操作系统发布25周年。1991年8月25日, Linus Torvalds在comp.os.minix新闻组里宣布了Linux项目, 声称它只是一个业余性质的项目,不会像gun那样庞大和专业。但经过了25年,Linux Kernel的开发比以往任何时候都要繁荣,每小时有7.8个补丁,每天有4600行代码。话不多说,下面就是小编为大家准备的开源资讯回顾,还是希望能给大家带来新的收获,这周的开源业界不论是国内还是国外,都有很“有料”的开源资讯值得大家关注!



  回顾过去的一周,谷歌早曝光将推出全新的系统,那么这到底和Android会有怎样的不同呢?计算机与汽车都很多相似的地方,消费者无需懂得底层的纷繁复杂,只要它能开启并使用就行了——Android、Windows、OS X、以及Linux,也都是如此。当然,在开发出来之后,它们仍需经过多年的磨砺,才会变得更加成熟。不过Google正在神秘开发的、名叫“Fuchsia”的新系统,却不是这么一回事。Facebook今天开源了三款人工智能图像分割(Image Segmentation)软件,分别是DeepMask、SharpMask和MultiPathNet,三款工具相互配合完成一个完整的图像识别分割处理流程,DeepMask生成初始对象mask、SharpMask优化这些mask,最后由MultiPathNet来识别这些mask框定的物体。SharpMask目前已遵循BSD授权协议在GitHub上公开源码,更多详细信息可参见本次专辑。Mozilla安全工程师April Knight发布了一个名叫Observatory的项目,旨在为大家提供一款类似于SSL Labs、High-Tech Bridge等扫描服务的免费版网站安全扫描工具。这项服务基于GitHub上的一个Python代码库,开发历时好几个月,并终于在昨日获准向公众发布。零售业巨头沃尔玛正在计划将旗下的开源云管理平台OneOps与OpenStack合为一体,原因是这两个项目在一次内部部署时被极为完美的整合在了一起。OneOps于2011年创立,开始是一家主打云资源调配和管理应用的公司。沃尔玛实验室于2013年收购了该公司,随后OneOps的软件被用在了沃尔玛的电子商务网站中。一般讲到街景就会想到有着大大 Google Logo 的街景车,到处跑跳拍摄开过的大街小巷景像。但你有想过有开源方案的可能吗?导航公司 Telenav 旗下的 OpenStreetView,宣布重新开始,要提供由群众拍摄,开放授权的街景地图,具体内容请关注本次专辑。在2016年6月的Scala Days柏林大会上,研究员Heather Miller在主题演讲中详细介绍了新成立的的Scala中心。这是一个非盈利性的组织,将重点关注教育和开源社区。最近发表的一篇文章中介绍过Scala中心,这里我们将介绍更多的细节。更多内容,本次专辑我们一起来关注……



  本周不少的开源项目也有了最新的进展,我们挑一些热点和大家先做下分享。虽然百兆以上的4G LTE技术已经相当普及,但它还是比不上免费的Wi-Fi技术。在本周发表的一篇新研究论文中,麻省理工的工程师们描述了一套能够在人口聚集区的无线路由器更加无缝地协同工作、减少干扰的发生、并让Wi-Fi提速10倍的系统方法。这篇论文题为《实时分布式多输入/多输出系统》,研究人员设计了一个名叫MegaMIMO的系统,它能够让Wi-Fi“不在同一时间发射同一频率的信号”。目前,Google公司正在为macOS平台开发一款恶意软件检测系统。根据Softpedia网站的最新报道,该项目目前已开源,项目代码托管在GitHub平台上。这个名为“Santa”的项目由Google公司的Macintosh研发团队负责开发的,软件当前的版本为0.9.12。本月初,GitHub数据库基础架构组的高级软件工程师Shlomi Noach在GitHub Engineering网站上发文宣告了gh-ost的开源发布。这对MySQL社区是一件大事,宣告停滞许久的MySQL表在线修改表定义操作又有了新的解决方案。Beta版Linux Mint 18 “Sarah” KDE版操作系统于今天上线开放下载,该系统基于最新的Kubuntu/Ubuntu技术,这意味着该发行版本基于长期支持的Linux 4.4内核,在KDE Plasma 5.6.5桌面环境的基础上使用KDE Applications 15.12.3软件套装。DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。更多开源软件的最新进展,本次专辑我们一起来关注……


  本周,对于如何高效的使用各类开源软件,业界不少大牛和爱用着都给出了自己的态度和做法。近日的一篇《Docker生态会重蹈Hadoop的覆辙吗?》刷屏微信朋友圈,文章从以下几个部分阐释Docker生态究竟会不会重蹈Hadoop的覆辙?一石激起千层浪,一时间大赞特赞者有之,认为其为标题党,吸引眼球者也有之,那么到底Docker生态究竟会不会重蹈Hadoop的覆辙呢?今天,我们的客户面对的是一个多平台、多云、多操作系统共存的世界。这个世界带来了新的挑战,用户需要新的工具把一切都整合起来。而微软上下都在全力以赴打造这样的管理工具,让用户能够在任何地方、用任何设备、对任何平台进行有效的管理——既可以用Windows,也可以是Linux。在John Resig设计的jQuery独霸前端javascript多年之后,Google推出的重量级AngularJS给前端开发带来巨大的观念变化,给人耳目一新之感,同时也推动前端的观念、技术和框架领域进入快速迭代,百花齐放的局面。长江后浪推前浪,AngularJS还在浪涛之巅,facebook推出的ReactJS又异军突起,再次给前端Web应用开发的思路带来巨大转变,颠覆了很多刚刚成为时尚的观念。过去的几个月里出现了很多关于Java的讨论,讨论它究竟是一种开源的语言还是一种有专利的语言。人们开始怀疑对Java进行投资是否还有意义,担心这种语言将会受到它的新管家Oracle的独裁控制。在这种情形下,人们表达出了对这种语言长期发展方向的担忧,尤其担忧的是潜在的开发和运行Java软件所需的许可费用以及成本的增加。相信很多人对于开源这个概念很模糊,我在之前的一篇博客里面也略微谈了一下,这里想展开说一下。首先要清楚的是,开源是一种精神,这种精神是,我希望把我的东西能够分享出去让更多的人去使用它。对于开源者来说,能够从中获得什么东西各有不同,有些人为了金钱利益,有些人为了兴趣。但是清楚的第一点是,一旦你开源出去,别人怎么用它就跟你没有任何关系了。在这忙碌的一周里,开源界有哪些新动向呢?IT巨头又有哪些开源新进展呢?各种开源软件出新版了么?又推出什么开源软件了么?我们还是来一起回顾下最近的开源动态吧!



  本月是Linux操作系统发布25周年。1991年8月25日, Linus Torvalds在comp.os.minix新闻组里宣布了Linux项目, 声称它只是一个业余性质的项目,不会像gun那样庞大和专业。

  25年后的今天,Linux已经变得远比Torvalds能想象的更庞大更专业。它驱动了互 联网的基础设施、企业数据中心、网站、股票交易所、以及世界最流行的智能手机系统,绝大部分的超算。即便在个人电脑领域输给了Windows 和Mac,但它仍然运行在数以千万计的台式机和笔记本电脑上,甚至微软都在Windows 10上引入了Linux子系统。



  Linux的重要性日益增长,它的开发也从未付费的志愿者转移到付费的专业开发者手中。根据25周年版的Linux Kernel开发报告,志愿者贡献的代码比例降低到了7.7%,绝大部分代码都是企业开发者贡献的,Linus Torvalds本人则受雇于非营利的Linux基金会。更多消息,大家可以关注本次专辑……

  1991年8月25日,芬兰电脑科学专业的学生李纳斯·托沃兹(Linus Torvalds)不经意间对朋友提及自己的新玩意儿:“我在打造一个免费开源的操作系统。”他说自己只是兴趣之举。

  不过他所做出来的东西远超“兴趣”那么简单。今天,开源操作系统Linux已成为世界上最重要的电脑程序之一。听名字你可能陌生,其实它一直常伴在你左右:你的手机、平板的操作系统都是基于Linux构建的。就算你在使用iPhone和Mac,你也同样与Linux打过照面了。因为几乎所有的网站和网页都是由Linux在带动。Facebook、谷歌、Pinterest还有维基百科——他们的服务器无不是基于Linux搭建的。


  简单说,没有Linux,互联网不会有今天这么精彩。而且呢,不要以为Linux只是个存在于网络世界的东西。现在它也开始进入电视机和汽车的操作系统中了。25年前李纳斯·托沃兹出于爱好摆弄出来的一套代码,如今已经走进我们生活的方方面面。称之为“万物枢机”并不为过。

  打造Linux的年头产生自25年前。那个时候,全世界服务器的操作系统都被AT&T贝尔实验室的Unix系统垄断。不过美中不足的是,Unix版权归AT&T所有,只能运行在高端机器上。极客们渴望有一个能与之媲美的系统出现,让普通人在自家电脑上就能体验科技之美。更多内容,大家不妨在本次专辑里了解一下……

  Linux Kernel的开发比以往任何时候都要繁荣,每小时有7.8个补丁,每天有4600行代码。上面的数据来自Linux基金会周一发布的有关Kernel开发的报告,标题为“Linux Kernel开发——是谁在做,做得多快,做的什么,谁在赞助”。这是组织近几年在这方面发布的第七次报告。

  这篇报告主要介绍有关Linux Kernel 4.7的情况,重点介绍了3.19到4.7的版本。上一次报告于2015年三月发布,主要介绍3.11到3.18的情况。


  根据报告的数据,一共有来自1300家不同的公司,超过13500名开发者为Linux Kernel贡献了代码。自2005年Git问世,提交信息的追踪成为可能。根据上一份报告,有来自400家不同公司的5000名开发者贡献了代码,并且,有一半的开发者是第一次提交代码。

  现在开发的速度无疑变得更快了。去年,每7.71小时就有一次change被接受,现在的速度是7.8次。每9到10周就会有一个新版本的Kernel问世。更多内容,大家请关注本次专辑……



  如今,Docker 和容器将要改变世界,早已不是什么秘密了。对于一些深度用户,这种改变已经发生了。不过你造吗?和很多其他改变世界的事物一样,这些事物在彻底改变世界之前总是缺少点什么。但现在什么都不缺了!

  之前缺少了什么?一言以蔽之……编排。Docker实在是太酷了——我指的是那些能改变游戏规则的技术。这些黑科技能给企业带来方方面面的巨大效益,随便列举几个:市场周期、稳定性、灵活性,还有资源利用率。


  不过与此同时,容器的规模化管理,一直是个棘手的难题。在以前,我们不得抓取 Docker Swarm,Kubernates,或者 Mesosphere DCOS 这类外部工具,把它们放置在容器之上,以此来管理大规模的容器。虽然说够用,但并不完美。

  而不完美的原因是很复杂的。每一种外部工具都会给工作横生枝节,如果你想“安全”地把事情做完,这些枝节会带来很大的麻烦——搞得安全性只是一种“选项”似的。更多情况,大家可以关注本次专辑。

  计算机与汽车都很多相似的地方,消费者无需懂得底层的纷繁复杂,只要它能开启并使用就行了——Android、Windows、OS X、以及Linux,也都是如此。当然,在开发出来之后,它们仍需经过多年的磨砺,才会变得更加成熟。不过Google正在神秘开发的、名叫“Fuchsia”的新系统,却不是这么一回事。

  外媒Android Authority在几天前撰写了一篇介绍Fuchsia的文章,其中包含了一个指向编译指南的链接,感兴趣的网友可以到那里查看如何构建一个可启动的系统。


  打造Fuchsia的最简单的方法,就是使用基于64位英特尔平台的Ubuntu Linux机器(当然也支持在OS X和Debian等其它Linux发行版上编译)。

  如果你对Linux不熟悉,接触命令行的技能也相对有限,那么这份工作可能并不是很适合。当前Fuchsia主要由两大部分组成——Magenta内核,以及工具组、库、程序等。

  Magenta是个小内核(LK),所以Fuchsia也是个功能相对有限的小系统。其主要面向嵌入式设备和bootloaders,支持连接诸多外设的驱动、还有一个“用户模式”。要构建Fuchsia,你需要注意两个方面。首先是打造在用户空间运行所需的工具和库,包括一个名叫“mxsh”的小型shell程序;其次是构建LK/Magenta。

  搞定了上述部分之后,你就可以在一个文件系统上启动Magenta,然后用上Fuchsia的可执行用户空间。想要运行Fuchsia,最简单的方法是使用热门开源机器模拟器“qemu”。事实上,Fuchsia的source tree中就已经包含了一个qemu副本。更多内容,本次专辑将为您一一带来……

  Facebook今天开源了三款人工智能图像分割(Image Segmentation)软件,分别是DeepMask、SharpMask和MultiPathNet,三款工具相互配合完成一个完整的图像识别分割处理流程,DeepMask生成初始对象mask、SharpMask优化这些mask,最后由MultiPathNet来识别这些mask框定的物体。SharpMask目前已遵循BSD授权协议在GitHub上公开源码。


  Facebook的人工智能研究实验室(FAIR)此前曾在多篇学术论文中讨论过以上开源的图像分割技术(论文1、论文2、论文3)。图像分割技术不仅能够识别图片和视频中的人物、地点、物体,甚至能够判断它们在图像中的具体位置(精确到像素级别),为了做到这一点,Facebook使用了一种人工智能技术——机器学习,也就是用大量的数据来训练人工神经网络,不断提高其对新数据的处理判断准确性。

  Facebook一直是开源人工智能技术的积极推动者,在开源三款图像分割软件工具之前,Facebook还曾在Torch上开源了一些功能强大的深度学习工具。

  深度学习是科技巨头竞争激烈的技术阵地,包括苹果、百度、谷歌和微软都投入重金,并在COCO这样的图像识别竞技场上展开激烈角逐。详细内容本次专辑会为您慢慢道来……



  Mozilla安全工程师April Knight 发布了一个名叫Observatory的项目,旨在为大家提供一款类似于SSL Labs、High-Tech Bridge 等扫描服务的免费版网站安全扫描工具。这项服务基于GitHub上的一个Python代码库,开发历时好几个月,并终于在昨日获准向公众发布。Observatory主要面向想要通过现代安全协议来配置网站的开发者、系统管理员、以及安全专家。

  Observatory可以扫描基本的安全特性,然后给出0到130的评分(也可简单归纳为A到F级)。当前这项服务支持扫描如下内容:内容安全政策(CSP)状态;使用了安全标记的cookie文件;跨来源资源共享(CORS)状态;HTTP公钥定位(HPKP)状态;
HTTP强制安全传输(HSTS)状态;6:是否存在HTTP到HTTPs的自动重定向;子资源完整性(SRI)状态;X-Content-Type-Options状态;X-Frame-Options状态。



  Knight在检查了130万+网站后发现,当前有超过91%的网站都没能通过 Observatory 的测试。虽然很难实现所有基础安全项目,但我们仍建议尽可能地为网站提供武装。更多内容大家可以关注本次专辑……
 
  零售业巨头沃尔玛正在计划将旗下的开源云管理平台OneOps与OpenStack合为一体,原因是这两个项目在一次内部部署时被极为完美的整合在了一起。


  OneOps于2011年创立,开始是一家主打云资源调配和管理应用的公司。沃尔玛实验室于2013年收购了该公司,随后OneOps的软件被用在了沃尔玛的电子商务网站中。今年1月,沃尔玛实验室以Apache 2.0授权的方式发布了OneOps。

  另外,沃尔玛的OneOps平台已经在Github上开源了其源代码,沃尔玛几年来还推出了OpenStack下相应的管理控制台。沃尔玛首席工程师Andrew Mitry在纽约召开的OpenStack East会议上表示,沃尔玛曾将OneOps与OpenStack一起部署,并计划进一步将OneOps并入OpenStack当中。

  Mitry要重点表达的就是,OneOps和OpenStack能很好地兼容,并入后可以推进开源云计算操作系统的发展。详情请关注本次专辑……

  虽然百兆以上的4G LTE技术已经相当普及,但它还是比不上免费的Wi-Fi技术。在本周发表的一篇新研究论文中,麻省理工的工程师们描述了一套能够在人口聚集区的无线路由器更加无缝地协同工作、减少干扰的发生、并让Wi-Fi提速10倍的系统方法。这篇论文题为《实时分布式多输入/多输出系统》,研究人员设计了一个名叫MegaMIMO的系统,它能够让Wi-Fi“不在同一时间发射同一频率的信号”。


  福布斯指出:MegaMIMO 2.0是一套分布式多输入/多输出系统,它能够调节各接入点(比如无线路由器)的活动,从而避免了在同一时间、同一频率发送信号的情况。

  消除了这一干扰,区域内的无线网络就能够更加高效地运作。测试中,研究人员使用了由4个独立的接收器所组成的MegaMIMO 2.0系统。

  在传统点对点MIMO系统中,发射器之间是在未经协调的情况下运行的。因此产生的干扰,往往导致实际效率只有1/4左右。详细情况请大家关注本次专辑……



  对于帐户统一管理系统或软件来说,在 Linux 下你可能知道 NIS、OpenLDAP、samba 或者是 RedHat、IBM 的产品,在 Windows 下当然就是最出名的活动目录 (AD)了,这里就来探讨一下如何让 Linux 的计算机加入 AD 域。

  Windows 的 AD 域寄生于 Linux 机器Windows 的 AD 域寄生于 Linux 机器首先,先简单介绍一下 AD 域。自 Windows 2000 以来,AD 一直是 Windows 的身份验证和目录服务,AD 基于 LDAP 实现其功能,其使用 DNS 进行主机名的解析,使用 Kerberos V5 进行用户身份验证,使用 LDAP V3 进行统一的帐户管理。


  目标:在 AD 域中,将 Linux 服务器加入 AD,以使 Domain Admins 用户组成员可以登录操作 Linux 服务器,不需要在 Linux 服务器中单独创建帐户。

  环境:一台 Windows Server 2012 R2 操作系统的服务器,安装有 AD 并作为域控制器(DC),同时也作为 DNS 服务器和时间服务器;一台 RedHat Enterprise Linux 6.x 的服务器,请自行配置好网络及 YUM 源。有关 AD 域服务器的搭建,由于比较简单,请自行查阅资料完成,这里不再详述。

  这里以 Windows 服务器地址为 192.168.2.122,域名为 contoso.com,主机名为 ad.contoso.com;Linux 服务器地址为 192.168.2.150,主机名为 lemon20.contoso.com。更多内容,大家请关注本次专题……
  
  一般讲到街景就会想到有着大大 Google Logo 的街景车,到处跑跳拍摄开过的大街小巷景像。但你有想过有开源方案的可能吗?导航公司 Telenav 旗下的 OpenStreetView,宣布重新开始,要提供由群众拍摄,开放授权的街景地图。


  在上个月底在美国西雅图办的美国 OpenStreetMap 大会 State of the Map US 上,Telenav 的人演讲谈新出发的 OpenStreetView,介绍有什么功能和未来展望。使用者只要注册帐号,有 OpenStreetView 的 App,就可以拿着手机,边走边录制街景。由于大都是开放街景的参与者,所以 OpenStreetView 设计时很看重开放街景记录画图的需求。

  2009 年 John McKerrell 发起开源的街景站 OpenStreetView,但发展遇到瓶颈。Telenav 接手 OpenStreetView 后,依照先前经营者开出的条件,网域转到 Telenav 手上,仍旧维持开放的状态:拍摄的照片开放使用而且开放授权,原先的照片会继承继续放着。

  目前 OpenStreetView 提供 Android、iOS 版本的 App,网页版本也能看到使用拍摄的照片。不过目前还没办法在网站手动上传有经纬度资讯的照片,而编辑功能有限,如果手机的 GPS 不准,并没有办法修正拍出来照片的位置。更多详细内容,请关注本次专辑……

  目前,Google公司正在为macOS平台开发一款恶意软件检测系统。根据Softpedia网站的最新报道,该项目目前已开源,项目代码托管在GitHub平台上。这个名为“Santa”的项目由Google公司的Macintosh研发团队负责开发的,软件当前的版本为0.9.12。


  正如Google公司描述的那样,“Santa”项目并不是一个传统意义上的反病毒引擎,它只能够将某些macOS平台的恶意进程加入黑名单或白名单之中。 除此之外,Santa的图形用户界面(GUI)也并不复杂,它只有一个较为美观的通知窗口而已。Santa需要通过这个窗口来通知用户哪一个进程被禁止执 行了。Softpedia的安全研究人员所测试的版本没有其他的用户操作界面,只有如下图所示的一个对话框。

  Santa提供了两种操作模式,除此之外,它就只是一个非常简单的应用程序而已。Santa恶意软件检测系统的核心无非就是一个用户态下的监视进程而已,它可以扫描新的进程,并根据存储在本地SQLite数据库中的进程黑名单(或白名单)来阻止(或允许)应用程序的运行。

  根据该项目托管在Github上的介绍文档,Santa提供了以下两种操作模式:MONITOR(监视)和LOCKDOWN(锁定)。



  过去的几个月里出现了很多关于Java的讨论,讨论它究竟是一种开源的语言还是一种有专利的语言。人们开始怀疑对Java进行投资是否还有意义,担心这种语言将会受到它的新管家Oracle的独裁控制。

  在这种情形下,人们表达出了对这种语言长期发展方向的担忧,尤其担忧的是潜在的开发和运行Java软件所需的许可费用以及成本的增加。

java_logo

  这更加导致了人们去寻找一种开源的,独立于厂商的语言,以此避免把自己的基础架构和开发工作都捆绑在像Oracle这样的单个公司的商业标准之上。像 Python,C/C++,JavaScript,Ruby 和Perl等语言都是优秀的能摆脱这种缚束的候选语言。这些语言的维护、开发和发展都是通过开源社区和开源标准组织(例如ISO和Ecma)进行的。

  通常,一个公司永远都不希望缚束在另外一个公司的要求或指挥下。可替换的供应链、多公司集体作用、使用开源标准等都是能够使公司避免落入某个专权公司的专制统治之下的方法。否则的话,其它公司都会桎梏在一个公司的产品中。所以,Java是什么样的语言?是开源的吗?我们是否会受制于Oracle的公司需求?更多的,大家可以关注本次专辑……


  本月初,GitHub数据库基础架构组的高级软件工程师Shlomi Noach在GitHub Engineering网站上发文宣告了gh-ost的开源发布。这对MySQL社区是一件大事,宣告停滞许久的MySQL表在线修改表定义操作又有了新的解决方案。


  Shlomi这样总结:gh-ost是GitHub最近几个月开发出来的,目的是解决一个经常碰到的问题:不断变化的产品需求会不断要求更改MySQL表结构。gh-ost通过一种影响小、可控制、可审计、操作简单而且安全的方式来改变线上表结构。

  目前,MySQL在线修改表定义的任务主要是通过这三种途径完成的:在从库上修改表定义,修改之后再提升为新的主库。通过MySQL 5.6开始提供的InnoDB在线DDL功能。使用修改表定义工具。现在最流行的是Percona公司的pt-online-schema-change和Facebook的OSC,也有人使用LHM或最早的oak-online-alter-table。

  在从库上修改表 定义的方案耗时长,需要更多的服务器,这种方案需要非常细致的管理工作,并且修改完毕后主从切换过程也会造成短暂的停服。InnoDB在线DDL功能在主 库上操作的确是可以满足需求的,但过程不可中断,并且操作完成会造成主从库之间较大的延迟,对许多高可用方案及读写分离等会造成较大困扰。被各大公司 DBA广泛接受的作法主要是通过Percona公司的pt-online-schema-change和Facebook的OSC在线操作。更多特性,大家可以关注本次专辑……

  DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。


  为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。

  DataX在阿里巴巴集团内被广泛使用,承担了所有大数据的离线同步业务,并已持续稳定运行了6年之久。目前每天完成同步8w多道作业,每日传输数据量超过300TB。

  此前已经开源DataX1.0版本,此次介绍为阿里巴巴开源全新版本DataX3.0,有了更多更强大的功能和更好的使用体验。详细内容请关注本次专辑……



  在2016年6月的Scala Days柏林大会上,研究员Heather Miller在主题演讲中详细介绍了新成立的的Scala中心。这是一个非盈利性的组织,将重点关注教育和开源社区。最近发表的一篇文章中介绍过Scala中心,这里我们将介绍更多的细节。


  为什么成立Scala中心?根据一篇发表于2016年3月14日的博文,之所以创建Scala中心,一是因为Scala的职位日益增加,二是因为通过谷歌搜索“scala tutorial”可以看出,Scala的应用稳步增长。Miller解释说,Scala不只是由Lightbend维护的Scala 2.x编译器,Scala中心主要关注:库;Scala社区;Scala生态系统;Dotty;可选后端……

  Scala中心位于瑞士洛桑联邦高等理工学院(EPFL),由Miller负责,她是该机构的执行理事。Scala中心的顾问委员会成员如下:Scala中心代表;社区代表;公司代表……

  Lightbend Scala技术负责人Adriaan Moors在接受InfoQ采访时介绍了他们参与Scala中心的情况。当我们问他是否会参与Scala中心的活动时,他答复说:是的,由于Scala团队由Lightbend领导,所以我是Scala中心顾问委员会的成员,同时我也是SIP/SLIP委员会的成员。

  2016年OpenStack中国峰会,最大的一个感受就是厂商都在做容器化OpenStack。这已经是一个不可逆转的势头。Mirantis的Fuel也要实现容器化OpenStack;Canonical的Ubuntu OpenStack,通过LXD实现容器化;Rackspace通过LXC实现容器化OpenStack,已经投入生产;红帽已经开始验证OpenStack计算节点的容器化。


  国内的厂商。其实应该都在做,公开的就是海云捷迅,九州云,麒麟三家。对于容器公司来说,可以选择很多方式来玩,搞OpenStack是一件锦上添花的事情。对于OpenStack厂商来说,搞容器,可是生死攸关的事情。

  容器化的OpenStack实现,其实都差不多,就看各家谁更加彻底,更加优雅,更加安全。所谓彻底,就是完全对操作系统是免疫的,把容器删掉后,操作系统就好像没操作过一样。更多详细内容,请关注本次专辑……

  开源早已成为很多科技企业关注的焦点,我们也常会发现部分开源技术后面标注了某种协议,这意味着这些开源代码被框上了某种束缚,或者说这些代码将必须遵循这些规则,否则可能会触及法律。


  总的来看,如今比较流行的开源软件协议包括:GPL,LGPL,Apache License(2.0)和BSD。一般来讲,如果使用了GPL许可证的软件,就意味着你的软件必须“自由”,相比之下,其他协议大多只要求使用者尊重原作就可以了,更适用于商业软件之中,只有区分了这些开源软件协议的含义,才能更好的利用和回馈开源软件。

  GPL(GNU General Public License Versions):GPL协议一般还可以分为GPL2.0和GPL3.0两种,而GPL3.0是更新一代的开源标准,在对用户专利的保护和DRM的限制方面有所更改。GPL协议同其它的自由软件许可证一样,许可社会公众享有:运行、复制软件的自由,发行传播软件的自由,获得软件源码的自由,改进软件并将自己作出的改进版本向社会发行传播的自由。 而GPL协议就像一种开源“病毒”,任何一款沾染上他的软件都不得不保持开源和免费。

  更多本周开源资讯,本次专辑将为您一一呈现……


  本月是Linux操作系统发布25周年。1991年8月25日, Linus Torvalds在comp.os.minix新闻组里宣布了Linux项目, 声称它只是一个业余性质的项目,不会像gun那样庞大和专业。


  1991年8月25日,芬兰电脑科学专业的学生李纳斯·托沃兹(Linus Torvalds)不经意间对朋友提及自己的新玩意儿:“我在打造一个免费开源的操作系统。”他说自己只是兴趣之举。不过他所做出来的东西远超“兴趣”那么简单。


  Linux Kernel的开发比以往任何时候都要繁荣,每小时有7.8个补丁,每天有4600行代码。上面的数据来自Linux基金会周一发布的有关Kernel开发的报告,标题为“Linux Kernel开发——是谁在做,做得多快,做的什么,谁在赞助”。这是组织近几年在这方面发布的第七次报告。




  如今,Docker 和容器将要改变世界,早已不是什么秘密了。对于一些深度用户,这种改变已经发生了。不过你造吗?和很多其他改变世界的事物一样,这些事物在彻底改变世界之前总是缺少点什么。但现在什么都不缺了!


  计算机与汽车都很多相似的地方,消费者无需懂得底层的纷繁复杂,只要它能开启并使用就行了——Android、Windows、OS X、以及Linux,也都是如此。当然,在开发出来之后,它们仍需经过多年的磨砺,才会变得更加成熟。不过Google正在神秘开发的、名叫“Fuchsia”的新系统,却不是这么一回事。


  Facebook今天开源了三款人工智能图像分割(Image Segmentation)软件,分别是DeepMask、SharpMask和MultiPathNet,三款工具相互配合完成一个完整的图像识别分割处理流程,DeepMask生成初始对象mask、SharpMask优化这些mask,最后由MultiPathNet来识别这些mask框定的物体。SharpMask目前已遵循BSD授权协议在GitHub上公开源码。


  Mozilla安全工程师April Knight发布了一个名叫Observatory的项目,旨在为大家提供一款类似于SSL Labs、High-Tech Bridge等扫描服务的免费版网站安全扫描工具。这项服务基于GitHub上的一个Python代码库,开发历时好几个月,并终于在昨日获准向公众发布。Observatory 主要面向想要通过现代安全协议来配置网站的开发者、系统管理员、以及安全专家。


  零售业巨头沃尔玛正在计划将旗下的开源云管理平台OneOps与OpenStack合为一体,原因是这两个项目在一次内部部署时被极为完美的整合在了一起。OneOps于2011年创立,开始是一家主打云资源调配和管理应用的公司。沃尔玛实验室于2013年收购了该公司,随后OneOps的软件被用在了沃尔玛的电子商务网站中。


  虽然百兆以上的4G LTE技术已经相当普及,但它还是比不上免费的Wi-Fi技术。在本周发表的一篇新研究论文中,麻省理工的工程师们描述了一套能够在人口聚集区的无线路由器更加无缝地协同工作、减少干扰的发生、并让Wi-Fi提速10倍的系统方法。这篇论文题为《实时分布式多输入/多输出系统》,研究人员设计了一个名叫MegaMIMO的系统,它能够让Wi-Fi“不在同一时间发射同一频率的信号”。


  对于帐户统一管理系统或软件来说,在 Linux 下你可能知道 NIS、OpenLDAP、samba 或者是 RedHat、IBM 的产品,在 Windows 下当然就是最出名的活动目录 (AD)了,这里就来探讨一下如何让 Linux 的计算机加入AD域。


  一般讲到街景就会想到有着大大 Google Logo 的街景车,到处跑跳拍摄开过的大街小巷景像。但你有想过有开源方案的可能吗?导航公司 Telenav 旗下的 OpenStreetView,宣布重新开始,要提供由群众拍摄,开放授权的街景地图。


  目前,Google公司正在为macOS平台开发一款恶意软件检测系统。根据Softpedia网站的最新报道,该项目目前已开源,项目代码托管在GitHub平台上。这个名为“Santa”的项目由Google公司的Macintosh研发团队负责开发的,软件当前的版本为0.9.12。


  本月初,GitHub数据库基础架构组的高级软件工程师Shlomi Noach在GitHub Engineering网站上发文宣告了gh-ost的开源发布。这对MySQL社区是一件大事,宣告停滞许久的MySQL表在线修改表定义操作又有了新的解决方案。


  Beta版Linux Mint 18 “Sarah” KDE版操作系统于今天上线开放下载,该系统基于最新的Kubuntu/Ubuntu技术,这意味着该发行版本基于长期支持的Linux 4.4内核,在KDE Plasma 5.6.5桌面环境的基础上使用KDE Applications 15.12.3软件套装。


  谷歌正在研发一项新技术,利用神经网络模拟人脑的工作方式去压缩图片。这项技术能在确保图片质量的同时,大大降低图片文件的体积。这项新技术意义非凡。对于消费者而言,更小的文件体积意味着他们的手机、平板电脑和PC就拥有更多的空间。


  DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。


  Apache Kafka 已经成为了用于大规模流式数据的标准消息系统。在像LinkedIn 这样的公司里,它作为用于各种数据管道和支撑各种关键任务服务的骨干。它已经成为一个公司基础架构的核心组件,应该是非常的强壮、容错并且高性能。


  本文为用户使用Apache NiFi最新版本来监听SMTP邮件,并以编程方式做出反应以及捕捉数据提供了指导。首先就可以注意到Apache NiFi 1.0.0应用了很棒的新界面,更加清晰也更加方便使用。


在2016年6月的Scala Days柏林大会上,研究员Heather Miller在主题演讲中详细介绍了新成立的的Scala中心。这是一个非盈利性的组织,将重点关注教育和开源社区。最近发表的一篇文章中介绍过Scala中心,这里我们将介绍更多的细节。


  今天,我们的客户面对的是一个多平台、多云、多操作系统共存的世界。这个世界带来了新的挑战,用户需要新的工具把一切都整合起来。而微软上下都在全力以赴打造这样的管理工具,让用户能够在任何地方、用任何设备、对任何平台进行有效的管理——既可以用Windows,也可以是Linux。


  最近 AliSQL 宣布即将开源引发各类讨论,有鼓励也有质疑,这些当然都是正常的。首先要感谢大家的关注,对于几种主要的质疑我们请阿里云的关系数据库服务(RDS)内核开发和运维团队负责人丁奇来统一说明一下。有其他问题可以留言评论,我们来一一解释。


  在John Resig设计的jQuery独霸前端javascript多年之后,Google推出的重量级AngularJS给前端开发带来巨大的观念变化,给人耳目一新之感,同时也推动前端的观念、技术和框架领域进入快速迭代,百花齐放的局面。长江后浪推前浪,AngularJS还在浪涛之巅,facebook推出的ReactJS又异军突起,再次给前端Web应用开发的思路带来巨大转变,颠覆了很多刚刚成为时尚的观念。


  昨天的一篇《Docker生态会重蹈Hadoop的覆辙吗?》刷屏微信朋友圈,文章从以下几个部分阐释Docker生态究竟会不会重蹈Hadoop的覆辙?一石激起千层浪,一时间大赞特赞者有之,认为其为标题党,吸引眼球者也有之,那么到底Docker生态究竟会不会重蹈Hadoop的覆辙呢?


  过去的几个月里出现了很多关于Java的讨论,讨论它究竟是一种开源的语言还是一种有专利的语言。人们开始怀疑对Java进行投资是否还有意义,担心这种语言将会受到它的新管家Oracle的独裁控制。在这种情形下,人们表达出了对这种语言长期发展方向的担忧,尤其担忧的是潜在的开发和运行Java软件所需的许可费用以及成本的增加。


  相信很多人对于开源这个概念很模糊,我在之前的一篇博客里面也略微谈了一下,这里想展开说一下。首先要清楚的是,开源是一种精神,这种精神是,我希望把我的东西能够分享出去让更多的人去使用它。对于开源者来说,能够从中获得什么东西各有不同,有些人为了金钱利益,有些人为了兴趣。但是清楚的第一点是,一旦你开源出去,别人怎么用它就跟你没有任何关系了。


  2016年OpenStack中国峰会,最大的一个感受就是厂商都在做容器化OpenStack。这已经是一个不可逆转的势头。容器化的OpenStack实现,其实都差不多,就看各家谁更加彻底,更加优雅,更加安全。所谓彻底,就是完全对操作系统是免疫的,把容器删掉后,操作系统就好像没操作过一样。


  刚开始使用Linux时你也许会感到不习惯,许多高手也都有这样的经历。毕竟,曾经他们也都是新手。但是现在Linux团体已经在为新用户提供有关指南, 手册和基本的技术文档来使他们尽快上手方面做的相当出色。


  开源早已成为很多科技企业关注的焦点,我们也常会发现部分开源技术后面标注了某种协议,这意味着这些开源代码被框上了某种束缚,或者说这些代码将必须遵循这些规则,否则可能会触及法律。


  C++,一个众所周知的C语言的扩展,是一个优秀的、强大的、通用编程语言,它能够提供现代化的、通用的编程功能,可以用于开发包括视频游戏、搜索引擎、其他计算机软件乃至操作系统等在内的各种大型应用。


  你还在担心插件会拖累Firefox的浏览速度吗?如果是的话,那么现在你可以放下所有的烦恼,因为下面这几款便捷又免费的插件来了。这几款插件是从众多超棒的插件中精心挑选出来的,希望能给你带来帮助。


酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部