Apache Spark 2.2.0 正式发布,这也是 2.x 系列的第三个版本。此版本移除了 Structured Streaming 的实验标记(experimental tag),意味着已可以放心在线上使用。
该版本的主要更新内容主要针对的是系统的可用性、稳定性以及代码润色。包括:
Core
和 Spark SQL 的 API 升级和性能、稳定性改进,比如支持从 Hive metastore 2.0/2.1
中读取数据;支持解析多行的 JSON 或 CSV 文件;移除对 Java 7 的支持;移除对 Hadoop 2.5 及更早版本的支持 等 SparkR
针对现有的 Spark SQL 功能添加了更广泛的支持,比如 Structured Streaming 为 R 语言提供的 API ;R
语言支持完整的 Catalog API ;R 语言支持 DataFrame checkpointing 等
更多内容可查阅发行说明 下载地址: http://spark.apache.org/downloads.html

|