设为首页收藏本站

LUPA开源社区

 找回密码
 注册
文章 帖子 博客
LUPA开源社区 首页 IT综合资讯 查看内容

大数据的小时代没有“IOE”也能玩转智慧城市

2014-6-4 11:16| 发布者: joejoe0332| 查看: 3395| 评论: 0|原作者: IT经理网|来自: IT经理网

摘要:   如今一谈到大数据,人们就会联想到数百TB以上且规模不断增长的Hadoop集群系统,人们为过去两年我们制造了超过人类历史总和的数据量而感到颤抖,但实际上大数据可以很小,甚至在智能手机和笔记本上就能进行分析处 ...



  智能隐私,智慧市场


  "With the tapping program code-named PRISM, the U.S. government has infringed on the privacy rights of people both at home and abroad" 由新华网在2014年2月28日发表,它解释了美国人权的现状[13]. 类似的项目在许多国家都实施了严格的隐私法律[27]. 65%的市场份额都贡献给了监控和背后强大的经济力量。如果不加以规范管理, 大数据是最容易侵犯隐私权的技术之一。


blog-Big.Data.Candidate    
大数据的候选市场[14]


  智能传感器提供了一个可能的解决方案, 只要编码能够由独立的负责隐私的权利机关审核。通过在传感器中丢弃,加密并匿名化大多数的数据, 并在产出地加强执行隐私律法,滥用监控系统的风险可以通过缺少原始数据的传输和缺少集中的存储来降低。传感器访问记录可以作为开源数据发布出来以确保审核 的完成。


  升级闭录电视到智能摄像机仅在中国就代表了每年2千亿元人民币的市场。 一个国有的升级项目可以作为在智能摄像机内建立"智慧城市" 核心功能的契机:公共网络的访问, 网页加速,微云,移动存储卸载, 地理定位, 多重访问mesh网络,无障碍收费系统等等。 这些只是许多可以进行开发应用的一小部分,并且日后还可以在全球范围内推广,因为 中国是最大的闭录电视系统的生产方并且已经和许多外国国防工业有紧密的合作关系[15]


  物联网代表了更大的数据


  到2020年,监控系统将不再是大数据的首要市场了。 根据Gartner分析,260亿个对象将会被连接到互联网[16], 超出全球范围的闭录电视摄像机数量的100倍。连接的对象包含工厂,车,电子消费品,工业传感器,风力发电机,交通灯等使用的工业用传感器。


  通过故障预测进行预防性维护 —— 一个机器学习和大数据的直接应用,以及其它的智慧功能都将会被内嵌入对象中。低价系统芯片(SOC)里的GPU 将被用于实施低成本高速度的机器学习[17]


  中国工业已经具有了一个连接物联网及大数据的优势。 最近ARM, 展讯(Spreadtrum), 全志科技(Allwinner), 瑞芯微电子(Rockchip),华为以及其他公司的结盟[18]强 调了中国设计的以ARM为基础解决方案逐渐增长的重要性。我们可以想象, 在几年的时间内,一个有GPU, 网络及Linux操作系统的系统芯片价值将不超过1美元。用这个价钱,它将可以成为用来为智能设备实施机器学习运算法则的标准组件。更高端一点来说, 一个大数据集群可以被设计成一个多核ARM 系统的系统芯片(SOC)以及固态硬盘(SSD)。首次,所有的组件都可以来自中国并且用比因特尔更低的成本提供相同质量的性能。


blog-MCA.Picture    
中国移动计算联盟(MCA) 于2014年4月在深圳正式成立(Credit. Bob Peng, ARM) [18]


  现在所缺乏的是通过使用高效的分布式运算法则来处理数据的软件。考虑到最近在中国讨论的"No ICE Policy [21]" 以及HADOOP对Java强烈的依赖性(一个现在被Oracle控制的产品)。这正是考虑为大数据使用另一种软件解决方案的最佳时机。近期,许多社区都开始在 Python的Numpy 开源技术上整合他们的数据处理能力[20, 21] 另外一些则是在创建新的语言例如Julia [22]。需要解决的大挑战之一是 "out-of-core" 数据处理,即超越可用存储器的极限来处理数据。像Wendelin [23]Blaze [24] 这样的项目已经都在进行中用来提供开源的解决方案。


  总的来说,我们的猜测是"No ICE"的解决方法将会在中国的这些大数据项目中里被创造出来 – 例如 贵州[25]或着新疆 [26] – 由数以亿计的人民币预算作为强大的后盾,向纯粹的科技创新敞开大门, 使其能够处理由智能传感器产生的艾字节或是zetabytes数据。


  鸣谢


  我要感谢来自Kolibree [28]的Thomas Serval , 来自Items [29]的Maurice Ronai , 来自Cityzen Data [32]的Hervé Rannou 和 Mathias Herberts, 以及来自Scikit-Learn [1]的Alexandre Gramfort分享他们关于大数据的想法。


本文的英文版本:english version

稿源:IT经理网

酷毙

雷人

鲜花

鸡蛋

漂亮
  • 快毕业了,没工作经验,
    找份工作好难啊?
    赶紧去人才芯片公司磨练吧!!

最新评论

关于LUPA|人才芯片工程|人才招聘|LUPA认证|LUPA教育|LUPA开源社区 ( 浙B2-20090187 浙公网安备 33010602006705号   

返回顶部