我们很高兴地宣布 Spark 1.1.0 已发布!Spark 1.1.0 是 1.X 兼容 API 系列的第二个版本。这是 Spark 迄今为止最大的版本,共有 171 位开发者贡献!
此版本为 Spark 核心带来了操作和性能改进,包括针对超大规模工作负载设计的 Spark shuffle 新实现。Spark 1.1 为最新的 Spark 模块 MLlib 和 Spark SQL 添加了重要的扩展。Spark SQL 引入了 JDBC 服务器、用于快速表达式求值的字节码生成、公共类型 API、JSON 支持以及其他特性和优化。MLlib 引入了一个新的统计库,以及若干新算法和优化。Spark 1.1 还增强了 Spark 的 Python 支持,并为 Spark Streaming 模块添加了新组件。