Spring for Apache Hadoop 2.5.0.RC1发布

Spring for Apache Hadoop 2.5.0.RC1 发布了。2.5 版本主要是一个错误修复和版本升级发布。

主要更新如下：

General

• Add build support for HDP 2.6 [SHDP-583]

• Update to CDH version 5.10 [SHDP-584]

• Remove Pivotal HD as a build option [SHDP-585]

• Update to use latest Spring, Boot, Integration and Security versions [SHDP-586]

Spark

• SparkYarnTasklet - improve tasklet configuration for spark/yarn by exposing frequently used settings [SHDP-559]

• SparkYarnTasklet: improve configuration to accept classpath properties [SHDP-582]

YARN

• Race condition in AbstractEventingAppmaster [SHDP-561]

博客中还透露了关于 Spring for Apache Hadoop 3.0 的计划，团队表示 3.0 版本会基于现有的代码库进行重写，将依赖 Java 代码中的 Spring Boot 配置，不再支持 XML 命名空间。3.0 会专注于 HDFS 读写， Apache Spark 集成和对 Spring Batch 的支持。而 Hive, Pig, HBase 和 MapReduce 这些功能的优先级将会降低。所以 3.0 的重点将是：

• Java 8 minimum requirement

• Hadoop 3.0 support

• Spring Boot 2.0 support

• HDFS readers and writers

• Spark 2.0 integration

• Spring Batch 4.0 item readers and writers plus builders

详情点此参阅

发布主页

Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能，包括 HDFS 和 HBase。如果你需要简单的基于 Hadoop 进行作业调度，你可添加 Spring for Apache Hadoop 命名空间到你的 Spring 项目即可快速使用 Hadoop 了，使用该项目无需了解过多 Hadoop 技巧。

Spring for Apache Hadoop 是 Spring Data 的子模块之一。