Spark 1.1.1 版本发布

Spark 1.1.1 是一个维护版本，包含缺陷修复。此版本基于 Spark 的 branch-1.1 维护分支。我们建议所有 1.1.0 用户升级到此稳定版本。此版本由 55 位开发者贡献。

要下载 Spark 1.1.1，请访问下载页面。

修复

Spark 1.1.1 包含多个组件的缺陷修复。下面突出显示了一些更重要的修复。您可以访问 Spark 问题跟踪器获取完整的修复列表。

Spark Core

  • 避免外部数据结构中出现许多小规模溢出 (SPARK-4480)
  • 连接管理器超时线程中的内存泄漏 (SPARK-4393)
  • 通道读取返回值的错误可能导致数据截断 (SPARK-4107)
  • 在基于排序的 shuffle 中观察到流损坏异常 (SPARK-3948)
  • 基于排序的 shuffle 键比较中的整数溢出 (SPARK-3032)
  • Spark 中 Hadoop 配置使用的线程安全性不足 (SPARK-2546)

SQL

  • 为左侧带有字面量的所有不等式谓词创建了错误的 Parquet 过滤器 (SPARK-4468)
  • 支持别名中的反引号 (SPARK-3708 和 SPARK-3834)
  • Spark 行与 Hive 行中的 ColumnValue 类型不匹配 (SPARK-3704)

PySpark

  • 修复了空 RDD 上的 sortByKey (SPARK-4304)
  • 避免为所有分区使用相同的随机种子 (SPARK-4148)
  • 避免在空分区上运行 take() 时出现 OOM (SPARK-3211)

MLlib

  • 由 PySpark 中的 ALS.trainImplicit 引起的 KryoException (SPARK-3990)

Streaming

  • 如果目标关闭，则块复制会持续失败 (SPARK-3495)
  • 块复制可能会选择驱动程序作为目标 (SPARK-3496)

GraphX

  • 确保 VertexRDD.apply 使用 mergeFunc (SPARK-2062)

贡献者

以下开发者为此次发布做出了贡献

  • Andrew Ash - Core 中的文档和缺陷修复
  • Andrew Or - Core 中的改进；Windows、Core、块管理器和 Shuffle 中的缺陷修复
  • Aniket Bhatnagar - Core 和 Streaming 中的缺陷修复
  • Benjamin Piering - GraphX 中的改进
  • Bertrand Bossy - Core 中的缺陷修复
  • Brenden Matthews - Mesos 中的缺陷修复
  • Chao Chen - Core 中的文档
  • Cheng Hao - SQL 中的测试
  • Cheng Lian - PySpark、MLlib 和 SQL 中的缺陷修复
  • Chirag Aggarwal - SQL 中的缺陷修复
  • Chris Cope - YARN 中的缺陷修复
  • Davies Liu - PySpark 中的改进；Core、SQL 和 PySpark 中的缺陷修复
  • Eric Eijkelenboom - Core 中的缺陷修复
  • Eric Liang - Core 和 SQL 中的缺陷修复
  • Eugen Cepoi - Core 中的改进
  • Fei Wang - Core 和 SQL 中的改进；Core 中的缺陷修复；Streaming 中的文档
  • Grega Kespret - Core 中的文档
  • Guoqiang Li - Web UI 中的缺陷修复
  • Henry Cook - Core 中的文档
  • Hossein Falaki - Web UI 中的缺陷修复
  • Ian Hummel - Core 中的改进
  • Jakub Dubovsky - Core 中的缺陷修复
  • Jerry Shao - Shuffle 中的缺陷修复
  • Jongyoul Lee - Core 和 Mesos 中的缺陷修复
  • Josh Rosen - Core 中的改进；Streaming 和 Core 中的缺陷修复
  • Kousuke Saruta - Core 和 Web UI 中的改进；Core、Web UI 和 PySpark 中的缺陷修复
  • Larry Xiao - GraphX 中的缺陷修复
  • Lianhui Wang - GraphX 中的缺陷修复
  • Liang-Chi Hsieh - Core 中的缺陷修复
  • Lu Lu - GraphX 中的改进
  • Ma Ji - Streaming 中的缺陷修复
  • Marcelo Vanzin - YARN 中的缺陷修复
  • Mark Hamstra - Core 中的缺陷修复
  • Masayoshi Tsuzuki - Core、Shell 和 PySpark 中的改进；Windows 和 PySpark 中的缺陷修复
  • Michael Armbrust - Core 中的文档
  • Michael Griffiths - PySpark 中的缺陷修复
  • Min Shen - YARN 中的缺陷修复
  • Mubarak Seyed - Streaming 中的改进
  • Nicholas Chammas - Core 中的文档
  • Niklas Wilcke - Core 中的缺陷修复
  • Oded Zimerman - GraphX 中的缺陷修复
  • Reynold Xin - Core 中的新功能；Core 和 SQL 中的缺陷修复
  • Rongquan Su - Streaming 中的改进
  • Sandy Ryza - Core 中的缺陷修复
  • Sean Owen - Java API、Core 和 Streaming 中的缺陷修复
  • Shane Knapp - Core 中的缺陷修复
  • Shixiong Zhu - Web UI 中的改进；Core 和 YARN 中的缺陷修复
  • Shuo Xiang - MLlib 中的缺陷修复
  • Tal Sliwowicz - Core 和块管理器中的缺陷修复
  • Tao Wang - Core 中的改进和缺陷修复
  • Tathagata Das - Streaming 中的改进；Core、块管理器和 Streaming 中的缺陷修复
  • Xiangrui Meng - Web UI 和 PySpark 中的改进；Core、MLlib 和 PySpark 中的缺陷修复
  • Yantang Zhai - Core 和 Web UI 中的缺陷修复
  • Yash Datta - SQL 中的改进
  • Yin Huai - Core 中的文档

感谢每一位贡献者！


Spark 新闻存档

最新消息

存档