Spark 0.7.2 版本发布

Spark 0.7.2 是一个维护版本,包含多个错误修复和改进。您可以将其下载为 源代码包 (4 MB tar.gz) 或获取针对 Hadoop 1 / CDH3CDH 4 (61 MB tar.gz) 的预构建包。

我们建议所有用户更新到此维护版本。

此版本中的修复和改进包括

  • Scala 版本已更新至 2.9.3。
  • Bagel 的多项改进,包括性能修复和可配置的存储级别。
  • 新的 API 方法:subtractByKey、foldByKey、mapWith、filterWith、foreachPartition 等。
  • 新的指标报告接口 SparkListener,用于收集有关每个计算阶段的信息:任务长度、字节洗牌等。
  • 使用 Java API 的几个新示例,包括 K-means 和计算 pi。
  • 支持在独立模式下为每个主机启动多个 worker 实例。
  • 全面的各种错误修复。

以下人员为此版本做出了贡献

  • Jey Kottalam(Maven 构建,错误修复,EC2 脚本,打包发布)
  • Andrew Ash(错误修复,文档)
  • Andrey Kouznetsov(错误修复)
  • Andy Konwinski(文档)
  • Charles Reiss(错误修复)
  • Christoph Grothaus(错误修复)
  • Erik van Oosten(错误修复)
  • Giovanni Delussu(错误修复)
  • Hiral Patel(错误修复)
  • Holden Karau(错误报告,EC2 脚本)
  • Imran Rashid(指标报告系统)
  • Josh Rosen(EC2 脚本)
  • Mark Hamstra(新的 API 方法,测试)
  • Mikhail Bautin(构建)
  • Mosharaf Chowdhury(错误修复)
  • Nick Pentreath(Bagel,示例)
  • Patrick Wendell(错误修复)
  • Reynold Xin(错误修复)
  • Stephen Haberman(错误修复,测试,subtractByKey)
  • Kalpit Shah(构建,每个主机多个 worker)
  • Mike Potts(运行脚本)
  • Matei Zaharia(Bagel,错误修复,构建)

我们感谢所有为此版本提供帮助的人,并希望在未来看到您更多的贡献!


Spark 新闻存档

最新消息

存档