Spark 0.9.2 版本

Spark 0.9.2 是一个维护版本，包含错误修复。 此版本基于 Spark 的 branch-0.9 维护分支。 我们建议所有 0.9.x 用户升级到这个稳定版本。 此版本的贡献来自 28 位开发者。

您可以下载 Spark 0.9.2 的 源代码包 (6 MB tgz) 或针对 Hadoop 1 / CDH3 (156 MB tgz), CDH4 (161 MB tgz), 或 Hadoop 2 / CDH5 / HDP2 (168 MB tgz) 的预构建包。 版本签名和校验和可在官方 Apache 下载站点 获取。

修复

Spark 0.9.2 包含多个组件中的错误修复。 下面重点介绍一些更重要的修复。 您可以访问 Spark 问题跟踪器 获取完整的修复列表。

Spark Core

• ExternalAppendOnlyMap 并不总是找到匹配的键。 (SPARK-2043)
• 作业因 akka 帧大小设置而挂起。 (SPARK-1112, SPARK-2156)
• HDFS FileSystems 在 FS 缓存中不断堆积。 (SPARK-1676)
• ShuffleMapTask.deserializeInfo 中不需要的锁。 (SPARK-1775)
• 辅助 jars 没有添加到 YARN 的 executor classpath 中。 (SPARK-1870)

PySpark

• IPython 无法运行独立的 Python 脚本。 (SPARK-1134)
• partitionBy 使用的 hash 方法无法正确处理 None。 (SPARK-1468)
• 如果太多任务迅速完成，PySpark 会崩溃。 (SPARK-2282)

MLlib

• 使 MLlib 可以在 Python 2.6 上工作。 (SPARK-1421)
• 修复 PySpark 的 Naive Bayes 实现。 (SPARK-2433)

Streaming

• 正文大于 1020 字节的 SparkFlumeEvent 无法正确读取。 (SPARK-1916)

GraphX

• GraphX triplets 无法正常工作。 (SPARK-1188)

贡献者

以下开发者为此版本做出了贡献

• Aaron Davidson - 错误修复和优化
• Anant Daksh Asthana - 改进
• Daniel Darabos - 错误修复
• David Lemieux - 错误修复
• Davis Shepherd - 错误修复
• DB Tsai - 错误修复
• Diana Carroll - 错误修复
• Erik Selin - 错误修复
• Gabriele Nizzoli - 错误修复
• Guoqiang Li - 错误修复
• John Zhao - 改进
• Mark Hamstra - 错误修复
• Matei Zaharia - 错误修复和改进
• Nan Zhu - 错误修复
• Nick Lanham - 错误修复
• Ori Kremer - 错误修复
• Patrick Wendell - 错误修复
• Prashant Sharma - 新功能
• Sam Sun - 错误修复
• Sandeep Singh - 错误修复
• Shuo Bai - 改进
• Sujeet Varakhedi - 改进
• Tathagata Das - 错误修复和文档修复
• Thomas Graves - 错误修复
• Uri Laserson - 错误修复
• Wenchen Fan - 错误修复
• Xiangrui Meng - 错误修复和发布经理
• Yin Huai - 错误修复

感谢每一位贡献者！

Spark 新闻存档