三巨头大数据领域齐发力

在上月美国拉斯维加斯举行IOD年度大会上IBM院士、DB2总架构师Curt Cotner宣布IBM将在明年推出内置NoSQL技术的DB2旗舰级数据库管理系统。他还表示未来的数据库发展方向是非关系数据库NoSQL。目前Google的BigTable和Amazon的Dynamo都用NoSQL型数据库,而传统的关系数据库在应付超大规模、高并发的SNS、web2.0网站已经力不从心。同时IBM发布了一系列数据分析软件,包括云计算版本的InfoSphere BigInsights。BigInsights是一套建立在Hadoop上的数据分析软件,能够处理企业用户收集大量非结构化资料。
微软也在10月12日在西雅图举行的SQL PASS 2011峰会宣布将与从雅虎分拆出来的Hortonworks合作开发Hadoop,并将在Apache Hadoop上实现搭建Windows Azure以及Windows Server平台。同时基于Hadoop的Windows Server还会与微软现有的BI工具联合处理任务。
Oracle作为全球最大的关系型数据库提供商也有所行动。其在2011 Oracle全球大会上推出了Big Data Appliance。Big Data Appliance是一个集成了Hadoop、NoSQL Database、Oracle数据库Hadoop适配器、Oracle数据库Hadoop装载器及R语言的系统。
Hadoop的未来
根据目前的状况来看,Hadoop作为企业级数据仓库体系结构核心技术,在未来的数年中将会保持持续增长的势头。包括MapR、Zettaset、Cloudera、HStreaming、Hadapt、DataStax、Datameer这些与Hadoop相关的新公司已经获得投资,为人们所熟知,为各种市场带来最新技术。
与此同时下一代的MapReduce会完善很多之前不尽人如意的地方。首先节点数将从目前的4000增加到6000-10000,其次并发的任务数从目前的40000增加到100000。另外将继续加大对硬件支持,同时架构也会有所改变,包括更多编程模式的支持。
|