Spark 0.7.2 版本发布
Spark 0.7.2 是一个维护版本,包含多个错误修复和改进。您可以将其下载为 源代码包 (4 MB tar.gz) 或获取针对 Hadoop 1 / CDH3 或 CDH 4 (61 MB tar.gz) 的预构建包。
我们建议所有用户更新到此维护版本。
此版本中的修复和改进包括
- Scala 版本已更新至 2.9.3。
- Bagel 的多项改进,包括性能修复和可配置的存储级别。
- 新的 API 方法:subtractByKey、foldByKey、mapWith、filterWith、foreachPartition 等。
- 新的指标报告接口 SparkListener,用于收集有关每个计算阶段的信息:任务长度、字节洗牌等。
- 使用 Java API 的几个新示例,包括 K-means 和计算 pi。
- 支持在独立模式下为每个主机启动多个 worker 实例。
- 全面的各种错误修复。
以下人员为此版本做出了贡献
- Jey Kottalam(Maven 构建,错误修复,EC2 脚本,打包发布)
- Andrew Ash(错误修复,文档)
- Andrey Kouznetsov(错误修复)
- Andy Konwinski(文档)
- Charles Reiss(错误修复)
- Christoph Grothaus(错误修复)
- Erik van Oosten(错误修复)
- Giovanni Delussu(错误修复)
- Hiral Patel(错误修复)
- Holden Karau(错误报告,EC2 脚本)
- Imran Rashid(指标报告系统)
- Josh Rosen(EC2 脚本)
- Mark Hamstra(新的 API 方法,测试)
- Mikhail Bautin(构建)
- Mosharaf Chowdhury(错误修复)
- Nick Pentreath(Bagel,示例)
- Patrick Wendell(错误修复)
- Reynold Xin(错误修复)
- Stephen Haberman(错误修复,测试,subtractByKey)
- Kalpit Shah(构建,每个主机多个 worker)
- Mike Potts(运行脚本)
- Matei Zaharia(Bagel,错误修复,构建)
我们感谢所有为此版本提供帮助的人,并希望在未来看到您更多的贡献!
Spark 新闻存档