Spark 0.7.2 版发布
Spark 0.7.2 是一个维护版本,包含多个错误修复和改进。您可以将其下载为源代码包 (4 MB tar.gz) 或获取针对Hadoop 1 / CDH3 或CDH 4 (61 MB tar.gz) 的预构建包。
我们建议所有用户更新到此维护版本。
此版本中的修复和改进包括:
- Scala 版本更新到 2.9.3。
- Bagel 的几项改进,包括性能修复和可配置的存储级别。
- 新的 API 方法:subtractByKey, foldByKey, mapWith, filterWith, foreachPartition 等。
- 一个新的指标报告接口 SparkListener,用于收集每个计算阶段的信息:任务长度、混洗字节数等。
- 使用 Java API 的几个新示例,包括 K-means 和计算 pi。
- 在独立模式下支持每个主机启动多个工作实例。
- 全面的各种错误修复。
以下人员为此版本做出了贡献:
- Jey Kottalam (Maven 构建,错误修复,EC2 脚本,打包发布)
- Andrew Ash (错误修复,文档)
- Andrey Kouznetsov (错误修复)
- Andy Konwinski (文档)
- Charles Reiss (错误修复)
- Christoph Grothaus (错误修复)
- Erik van Oosten (错误修复)
- Giovanni Delussu (错误修复)
- Hiral Patel (错误修复)
- Holden Karau (错误报告,EC2 脚本)
- Imran Rashid (指标报告系统)
- Josh Rosen (EC2 脚本)
- Mark Hamstra (新 API 方法,测试)
- Mikhail Bautin (构建)
- Mosharaf Chowdhury (错误修复)
- Nick Pentreath (Bagel,示例)
- Patrick Wendell (错误修复)
- Reynold Xin (错误修复)
- Stephen Haberman (错误修复,测试,subtractByKey)
- Kalpit Shah (构建,每个主机多个工作节点)
- Mike Potts (运行脚本)
- Matei Zaharia (Bagel,错误修复,构建)
我们感谢所有为本次发布做出贡献的人,并希望未来能看到您更多的贡献!
Spark 新闻存档