如今一谈到大数据，人们就会联想到数百TB以上且规模不断增长的Hadoop集群系统，人们为过去两年我们制造了超过人类历史总和的数据量而感到颤抖，但实际上大数据可以很小，甚至在智能手机和笔记本上就能进行分析处理，而聪明的机器学习算法能将大型强子对撞机数据分析工作量减少上万倍；后大数据时代，人们将更加关心如何让大数据“大事化小”。
但在粒度更小，数据规模却更大的智能传感器时代，在一场官方色彩越来越浓的“去IOE运动”中，如何利用本土低成本技术资源，在Hadoop之外寻找一条新的开源大数据处理技术方案？如何在大力开展“智慧城市”等物联网大数据项目的同时防止对个人隐私的侵犯？ 在计算机科学中， 一个简单的真理可以预言一部分未来: "正在CERN（欧洲粒子物理研究所）上演的将很快发生在世界上每个地方。" 我们还可以再加上第二个预言: "一切正在聚集的将最终以分散结尾。" 这与大数据应用有何关系？ 大数据通常都很小许多所谓的 "大数据" 问题其实并不是那么大。一个中央银行五年的交易数据量大概有100GB 大小。所以，中央银行一年的交易数据是完全能够被存储在一部智能手机中的。 一所保险公司关于一个国家的所有交易数据量不会超过4TB。 一个硬盘就可以储存这些保险数据。 那些由企业巨额投资的被标记为时尚 "大数据"用来解决数据分析问题的基础结构，实际上完全可以通过一台笔记本 —— 甚至是一部智能手机 —— 和开源软件来替代。研究者们和全球金融机构都用像 Scikit-Learn[1], Pandas[2]或NLTK[3] 这样的开源软件来处理交易数据和客户关系数据。如MariaDB[4]这样传统的数据库现如今能够处理差不多每秒1百万的录入。MariaDB 10.0[5] 甚至还有来自淘宝的开发人员开发的一些可以被延伸的复制技术。 我建议在进行昂贵的投资前：先购买一个小型的含至少32 GB记忆卡的GNU/Linux 服务器， 一个大容量的SSD 盘（例如 1 TB）并学习 Scikit-Learn 机器学习工具包102[30] (基于Andrew Ng吴恩达, 最近加入百度的机器学习之父[31]的课程)。在大多数情况下，这些已经足够解决您的问题。 如果还不够，您还可以设计一个稍后能够延伸成一个大型基础架构的模型。Scikit-Learn 被许多谷歌工程师用作 "大数据" 问题建模解决方案的工具包。 最小的微粒生产出最大的数据极端的挑战由核物理及小微粒研究提出来，不断引导了新信息技术的创造。 HTML 是由在欧洲核子研究组织 – 也被称为CERN 的Tim Berners Lee于1991 为解决大规模文档管理的问题而创造。CERN的大型强子对撞机 (the Large Hadron Collider,简称LHC）被设计用作处理每秒1 PB 的数据。它在2013年提供了第一个证明 希格斯玻色子 [6]存在的证据, 这是一个在过去的50年里都没有被解决的问题。 让我们来理解一下每秒1 PB 的数据意味着什么。 1 PB和1,000 TB， 1,000,000 GB 或者是13.3年的HD视频容量一样大。 能够每秒处理1 PB的数据相当于能够处理419,428,800个（13.3*365*24*3600）HD摄像设备生成的数据。这比中国的闭录电视摄像机[7]多15倍， 比英国的多100倍[8]. 总的说来，在CERN里为小粒子创造的技术可以被应用到实时收集和处理地球上每个人制造的以声音，视频，健康监测，智能材料日志等形式存在的数据。 智能传感器介绍大数据结构成功的关键概念是它可以迅速丢弃收集的大部分数据并最终只 储存其中的一小部分[9]。 这是通过将大多数数据处理转移到所谓的 "人工智能"的智能传感器上来实现，在现实的高级统计学中也被叫做机器学习。 大型强子对撞机的传感器之一 ，叫做 紧凑μ子线圈 (CMS)[10] – 每秒中能够收集3太字节代表小型粒子碰撞的图像数据。然后它会自动丢弃被认为是无关的图像并"只" 发送每秒100 Mb到LHC存储结构中，这比它收集的原始数据要少30,000倍。传感器本身使用了FPGA， 一种能够比一般处理器更快处理数据的可编程硬件， 来实施叫做 "clustering"[11]的机器学习运算法则。 如果我们希望将大型强子对撞机的想法应用到闭录电视监控， 我们可以在每个摄像机中存储几个小时的视频并使用一个FPGA 或者一个GPU直接在摄影机中实时处理视频数据。我们可以使用可改编程序的人工智能来侦查人群的数量，性别，尺寸， 行为（和平的， 暴力的， 偷偷摸摸的，迷路的，工作的等等），一个物品的存在（例如：一个手提箱）或一个物品的缺少（例如: 一个路灯）。 只有这些元数据才可以通过网络被发送到一个中央处理设备。 如果有需要的话，这个设备可以决定下载相关的图片或着视频片段。 以防出现一个地区的闭录电视被犯罪人员破坏而无法进行连接的情况，然后发送一个 consumer drone 遥控飞行器[12] 去检查问题的源头。 总的来说， LHC告诉我们如何通过少量的投资或者是广泛的覆盖面来快速建立一个有效的摄像监控系统。 这个系统能够被 – 在世界上的任何地方- 部署到现存的窄频带通信网络 – 包括GSM。它同样也比集中存储和处理所有信息的系统更加有弹性。并且它在电力中断的时候也可以离线工作。 |
