Spark 1.3.1 版本发布

Spark 1.3.1 是一个包含稳定性修复的维护版本。此版本基于 Spark 的 branch-1.3 维护分支。我们建议所有 1.3.0 用户升级到此稳定版本。共有 60 位开发者为此版本做出了贡献。

要下载 Spark 1.3.1，请访问下载页面。

修复

Spark 1.3.1 包含 Spark SQL 中的多项错误修复以及其他组件中的各种修复。下面重点介绍了一些更重要的修复。您可以访问 Spark 问题跟踪器以查看完整的修复列表。

Spark SQL

  • 无法在 DDL 中使用保留字 (SPARK-6250)
  • Parquet 不再缓存元数据 (SPARK-6575)
  • 连接两个 Parquet 表时的错误 (SPARK-6851)
  • 无法读取 Spark 1.1.1 生成的 parquet 数据 (SPARK-6315)
  • Parquet 数据源可能使用错误的 Hadoop FileSystem (SPARK-6330)

Spark Streaming

  • WAL 恢复期间可能发生数据丢失 (SPARK-6222)

PySpark

  • 调用 collect 时程序可能挂起 (SPARK-6667)

Spark 核心

  • Netty shuffle 中的线程安全问题 (SPARK-6578)
  • output committer map 中的内存泄漏 (SPARK-6737)
  • 当本地目录运行 NFS 时无法获取文件 (SPARK-6313)
  • 取消并混合使用作业组时发生 NPE (SPARK-6414)

贡献者

以下开发者为此版本做出了贡献

  • Adam Budde – SQL 错误修复
  • Andrew Or – 核心错误修复
  • Andrey Zagrebin – SQL 改进
  • Bill Chambers – 核心文档
  • Cheng Lian – SQL 错误修复和改进
  • Chet Mancini – 核心和 SQL 改进
  • Christophe Preaud – 核心和 YARN 文档
  • Daoyuan Wang – SQL 新特性
  • Davies Liu – PySpark 和 SQL 改进；测试、PySpark 和 SQL 错误修复；SQL 改进
  • Dean Chen – 核心错误修复
  • Doing Done – 核心和 SQL 错误修复
  • Hung Lin – 调度器错误修复
  • Ilya Ganelin – 核心改进
  • Imran Rashid – 核心错误修复
  • Iulian Dragos – 核心错误修复
  • Jayson Sunshine – 核心文档
  • Jeremy Freeman – Streaming 和 MLlib 错误修复
  • Jongyoul Lee – Mesos 改进；核心错误修复
  • Joseph K. Bradley – PySpark、Streaming、SQL、MLlib 和核心文档
  • Josh Rosen – 核心改进；Java API、核心、调度器和 Streaming 错误修复
  • Kai Sasaki – 核心和 MLlib 文档；MLlib 和 PySpark 错误修复
  • Kalle Jepsen – PySpark 改进
  • Kamil Smuga – 核心和 PySpark 错误修复
  • Kay Ousterhout – 核心、测试和 Web UI 错误修复
  • Kevin (Sangwoo) Kim – 核心错误修复
  • Kousuke Saruta – Streaming 和测试改进
  • Lev Khomich – 核心改进
  • Liang-Chi Hsieh – SQL 错误修复
  • Liangliang Gu – spark submit 错误修复
  • Lomig Megard – 核心文档
  • Marcelo Vanzin – 核心和 YARN 错误修复
  • Matt Aasted – EC2 错误修复
  • Michael Armbrust – SQL 改进；核心文档；SQL 错误修复；核心和 SQL 改进
  • Michael Griffiths – Windows 和核心错误修复
  • Milan Straka – PySpark 错误修复
  • Nan Zhu – 核心和 SQL 错误修复
  • Nathan McCarthy – 核心错误修复
  • Pei-Lun Lee – SQL 错误修复
  • Peter Parente – 核心改进
  • Peter Rudenko – 核心文档
  • Reynold Xin – 核心改进；核心文档；核心错误修复；SQL 改进
  • Sean Owen – 核心、测试和 SQL 错误修复
  • Shixiong Zhu – 核心错误修复
  • Tathagata Das – 核心和 Streaming 改进；Streaming 错误修复
  • Thomas Graves – 核心错误修复
  • Tijo Thomas – 核心和 SQL 错误修复
  • Venkata Ramana Gollamudi – SQL 错误修复
  • Vinod KC – 核心和 SQL 错误修复
  • Volodymyr Lyubinets – SQL 改进和错误修复
  • Xiangrui Meng – MLlib 和 PySpark 新特性；PySpark、MLlib 和 SQL 错误修复；核心和 MLlib 文档
  • Yadong Qi – SQL 改进
  • Yanbo Liang – MLlib 和 SQL 错误修复
  • Yash Datta – SQL 改进
  • Yin Huai – SQL 改进和错误修复
  • Yp Cat – SQL 错误修复
  • Yu ISHIKAWA – MLlib 改进
  • Yuri Saito – SQL 错误修复
  • Zhang, Liye – 核心和 Web UI 错误修复
  • Zhichao Li – Streaming 和 Web UI 错误修复
  • Zhichao Zhang – 核心文档

感谢所有贡献者！


Spark 新闻存档

最新新闻

存档