Spark 1.3.1 版本发布

Spark 1.3.1 是一个包含稳定性修复的维护版本。此版本基于 Spark 的 branch-1.3 维护分支。 我们建议所有 1.3.0 用户升级到此稳定版本。 此版本的贡献来自 60 位开发人员。

要下载 Spark 1.3.1，请访问下载页面。

修复

Spark 1.3.1 包含 Spark SQL 中的多个错误修复以及其他组件中的各种修复。 下面重点介绍了一些更重要的修复。 您可以访问 Spark 问题跟踪器 以获取完整的修复列表。

Spark SQL

• 无法在 DDL 中使用保留字 (SPARK-6250)
• Parquet 不再缓存元数据 (SPARK-6575)
• 连接两个 Parquet 表时出错 (SPARK-6851)
• 无法读取 Spark 1.1.1 生成的 parquet 数据 (SPARK-6315)
• Parquet 数据源可能使用错误的 Hadoop FileSystem (SPARK-6330)

Spark Streaming

• WAL 恢复期间可能存在数据丢失 (SPARK-6222)

PySpark

• 调用 collect 时可能出现程序挂起 (SPARK-6667)

Spark Core

• Netty shuffle 中的线程安全问题 (SPARK-6578)
• 输出提交器映射中的内存泄漏 (SPARK-6737)
• 当本地目录运行 NFS 时无法执行 fetch file (SPARK-6313)
• 取消并使用作业组组合时出现 NPE (SPARK-6414)

贡献者

以下开发人员为这个版本做出了贡献

• Adam Budde – SQL 中的错误修复
• Andrew Or – Core 中的错误修复
• Andrey Zagrebin – SQL 中的改进
• Bill Chambers – Core 中的文档
• Cheng Lian – SQL 中的错误修复和改进
• Chet Mancini – Core 和 SQL 中的改进
• Christophe Preaud – Core 和 YARN 中的文档
• Daoyuan Wang – SQL 中的新功能
• Davies Liu – PySpark 和 SQL 中的改进；测试、PySpark 和 SQL 中的错误修复；SQL 中的改进
• Dean Chen – Core 中的错误修复
• Doing Done – Core 和 SQL 中的错误修复
• Hung Lin – 调度程序中的错误修复
• Ilya Ganelin – Core 中的改进
• Imran Rashid – Core 中的错误修复
• Iulian Dragos – Core 中的错误修复
• Jayson Sunshine – Core 中的文档
• Jeremy Freeman – Streaming 和 MLlib 中的错误修复
• Jongyoul Lee – Mesos 中的改进；Core 中的错误修复
• Joseph K. Bradley – PySpark、Streaming、SQL、MLlib 和 Core 中的文档
• Josh Rosen – Core 中的改进；Java API、Core、调度程序和 Streaming 中的错误修复
• Kai Sasaki – Core 和 MLlib 中的文档；MLlib 和 PySpark 中的错误修复
• Kalle Jepsen – PySpark 中的改进
• Kamil Smuga – Core 和 PySpark 中的错误修复
• Kay Ousterhout – Core、测试和 Web UI 中的错误修复
• Kevin (Sangwoo) Kim – Core 中的错误修复
• Kousuke Saruta – Streaming 和测试中的改进
• Lev Khomich – Core 中的改进
• Liang-Chi Hsieh – SQL 中的错误修复
• Liangliang Gu – spark submit 中的错误修复
• Lomig Megard – Core 中的文档
• Marcelo Vanzin – Core 和 YARN 中的错误修复
• Matt Aasted – EC2 中的错误修复
• Michael Armbrust – SQL 中的改进；Core 中的文档；SQL 中的错误修复；Core 和 SQL 中的改进
• Michael Griffiths – Windows 和 Core 中的错误修复
• Milan Straka – PySpark 中的错误修复
• Nan Zhu – Core 和 SQL 中的错误修复
• Nathan McCarthy – Core 中的错误修复
• Pei-Lun Lee – SQL 中的错误修复
• Peter Parente – Core 中的改进
• Peter Rudenko – Core 中的文档
• Reynold Xin – Core 中的改进；Core 中的文档；Core 中的错误修复；SQL 中的改进
• Sean Owen – Core、测试和 SQL 中的错误修复
• Shixiong Zhu – Core 中的错误修复
• Tathagata Das – Core 和 Streaming 中的改进；Streaming 中的错误修复
• Thomas Graves – Core 中的错误修复
• Tijo Thomas – Core 和 SQL 中的错误修复
• Venkata Ramana Gollamudi – SQL 中的错误修复
• Vinod KC – Core 和 SQL 中的错误修复
• Volodymyr Lyubinets – SQL 中的改进和错误修复
• Xiangrui Meng – MLlib 和 PySpark 中的新功能；PySpark、MLlib 和 SQL 中的错误修复；Core 和 MLlib 中的文档
• Yadong Qi – SQL 中的改进
• Yanbo Liang – MLlib 和 SQL 中的错误修复
• Yash Datta – SQL 中的改进
• Yin Huai – SQL 中的改进和错误修复
• Yp Cat – SQL 中的错误修复
• Yu ISHIKAWA – MLlib 中的改进
• Yuri Saito – SQL 中的错误修复
• Zhang, Liye – Core 和 Web UI 中的错误修复
• Zhichao Li – Streaming 和 Web UI 中的错误修复
• Zhichao Zhang – Core 中的文档

感谢所有贡献者！

Spark 新闻存档