Hadoop的未来怎么样? http://www.slideshare.net/hortonworks/apache-hadoop-023 (hadoop 0.23) 给出这样的一个官方文档，谈谈之后的hadoop的发展。目前的hadoop的稳定版是0.20.x，这个0.23是个未来版，估计将在今年的Q4进行beta的发布(目前看起来，至少代码是写了很多了) 。 1、HDFS Federation 首先是一个叫做HDFS Federation的东西，它将hdfs的命名空间进行了扩展，目前的HDFS的所有文件的meta信息都保存在一台机器的内存中，使得HDFS支持的文件数目是有限的，现在进行了这样改动后，将hdfs的命名空间做成了分布式的，对之后方便对不同的用户文件夹进行管理，还有从HDFS的实现上来说，都会更为简单。 2、下一代的Map-Reduce： 节点数：从目前的4000增加到6000-10000台。 并发的任务数:从目前的40000增加到100000。 更高级的硬件支持，目前支持的硬件主要是8core, 16G ram, 4T disk, 之后将会支持16+core, 48/96G ram, 24/48T disk。 架构的改变，对现在的JobTracker-TaskTracker的结构做了很大的改进，现在会用ZooKeeper去保存master的状态，避免了之前提到的SPOF。 更多的编程模式的支持(这个很重要)。 比如MPI，迭代程序的处理，并且在Hadoop中运行这些类型的编程模式，并且这些程序将会被Hadoop统一管理。 总结： 之前谈了Hadoop的优势、劣势等等，综合来说就是，优势是很明显的(比如这么多牛公司在用，并且也贡献了很多的代码)，远远超出了其他的分布式系 统，劣势虽然不小，但是改进这些不足的地方是在计划中，已经在实施了。而且Hadoop不仅在学术界或者是工业界，都有很高的地位，综合了这些天时地利人和，那前途还是非常光明的。 |
