Spark 0.6.2 版本发布

Spark 0.6.2 是一个维护版本，包含多项错误修复和可用性改进。您可以下载其源代码包（2.5 MB tar.gz）或预编译包（48 MB tar.gz）。

我们建议所有 Spark 0.6 用户更新到此维护版本。

此版本中的修复和改进包括：

  • 多项容错修复，涉及检测死亡节点、处理缺失的 Map 输出抓取以及允许失败节点重新加入集群
  • 文档修复，澄清了独立模式的配置并改进了快速入门说明
  • 一个连接重用错误修复，提高了 shuffle 性能
  • EC2 脚本中支持跨多个可用区启动集群
  • 支持在 EC2 集群终止时删除安全组
  • 改进了独立部署集群守护进程的内存配置：它们现在使用一个单独的变量 SPARK_DAEMON_MEMORY，默认值为 512 MB，而不是使用 SPARK_MEM 来设置内存（这通常会导致人们分配比预期多得多的内存）
  • Spark 的 Windows 运行脚本修复
  • 更好地检测机器的外部 IP 地址
  • 多项小型优化和错误修复

共有十一人为此次发布做出了贡献：

  • Stephen Haberman (错误修复)
  • Shane Huang (shuffle 修复)
  • Fernand Pajot (错误修复)
  • Andrew Psaltis (错误修复)
  • Imran Rashid (独立集群，错误修复)
  • Charles Reiss (故障恢复修复，节点重新注册，测试)
  • Josh Rosen (故障恢复，Java API 修复，部署脚本)
  • Peter Sankauskas (EC2 脚本)
  • Lee Moon Soo (错误修复)
  • Patrick Wendell (错误，文档)
  • Matei Zaharia (故障恢复，UI，文档，错误修复)


Spark 新闻存档

最新新闻

存档