Spark 0.9.2 版本发布

Spark 0.9.2 是一个包含错误修复的维护版本。此版本基于 Spark 的 branch-0.9 维护分支。我们建议所有 0.9.x 用户升级到此稳定版本。此版本共有 28 位开发者贡献。

您可以下载 Spark 0.9.2 的 源码包 (6 MB tgz)，或针对 Hadoop 1 / CDH3 (156 MB tgz)、CDH4 (161 MB tgz) 或 Hadoop 2 / CDH5 / HDP2 (168 MB tgz) 的预构建包。版本签名和校验和可在官方 Apache 下载站点获取。

修复

Spark 0.9.2 包含多个组件的错误修复。下面重点介绍了一些比较重要的修复。您可以在 Spark 问题跟踪器查看完整的修复列表。

Spark Core

• ExternalAppendOnlyMap 并非总能找到匹配的键。( SPARK-2043)
• 作业因 akka 帧大小设置而挂起。( SPARK-1112, SPARK-2156)
• HDFS FileSystems 在文件系统缓存中持续堆积。( SPARK-1676)
• ShuffleMapTask.deserializeInfo 中不必要的锁。( SPARK-1775)
• 次要 Jar 未添加到 YARN 的 executor classpath 中。( SPARK-1870)

PySpark

• IPython 无法运行独立的 Python 脚本。( SPARK-1134)
• partitionBy 使用的哈希方法未能正确处理 None。( SPARK-1468)
• 如果太多任务快速完成，PySpark 会崩溃。( SPARK-2282)

MLlib

• 使 MLlib 在 Python 2.6 上工作。( SPARK-1421)
• 修复 PySpark 的朴素贝叶斯实现。( SPARK-2433)

Streaming

• SparkFlumeEvent 的正文大小超过 1020 字节时无法正确读取。( SPARK-1916)

GraphX

• GraphX 三元组无法正常工作。( SPARK-1188)

贡献者

以下开发者为此版本做出了贡献

• Aaron Davidson - 错误修复和优化
• Anant Daksh Asthana - 改进
• Daniel Darabos - 错误修复
• David Lemieux - 错误修复
• Davis Shepherd - 错误修复
• DB Tsai - 错误修复
• Diana Carroll - 错误修复
• Erik Selin - 错误修复
• Gabriele Nizzoli - 错误修复
• Guoqiang Li - 错误修复
• John Zhao - 改进
• Mark Hamstra - 错误修复
• Matei Zaharia - 错误修复和改进
• Nan Zhu - 错误修复
• Nick Lanham - 错误修复
• Ori Kremer - 错误修复
• Patrick Wendell - 错误修复
• Prashant Sharma - 新功能
• Sam Sun - 错误修复
• Sandeep Singh - 错误修复
• Shuo Bai - 改进
• Sujeet Varakhedi - 改进
• Tathagata Das - 错误修复和文档修复
• Thomas Graves - 错误修复
• Uri Laserson - 错误修复
• Wenchen Fan - 错误修复
• Xiangrui Meng - 错误修复和发布经理
• Yin Huai - 错误修复

感谢所有贡献者！

Spark 新闻存档