我们很高兴宣布 Spark 1.1.0 的可用性! Spark 1.1.0 是与 API 兼容的 1.X 系列中的第二个版本。 它是 Spark 有史以来最大的版本,来自 171 位开发者的贡献!
此版本带来了 Spark 核心的运营和性能改进,包括为超大规模工作负载设计的新 Spark shuffle 实现。 Spark 1.1 对最新的 Spark 模块 MLlib 和 Spark SQL 进行了重大扩展。 Spark SQL 引入了 JDBC 服务器、用于快速表达式评估的字节码生成、公共类型 API、JSON 支持以及其他功能和优化。 MLlib 引入了一个新的统计库以及几个新的算法和优化。 Spark 1.1 还构建了 Spark 的 Python 支持,并为 Spark Streaming 模块添加了新组件。