Spark 0.6.2 版本发布

Spark 0.6.2 是一个维护版本，包含了一些 bug 修复和可用性改进。您可以下载 源码包 (2.5 MB tar.gz) 或 预编译包 (48 MB tar.gz)。

我们建议所有 Spark 0.6 用户升级到这个维护版本。

此版本中的修复和改进包括：

  • 一些关于检测死节点、处理丢失的 map 输出获取以及允许失败节点重新加入集群的容错修复
  • 文档修复，澄清了独立模式的配置并改进了快速入门说明
  • 连接重用 bug 修复，提高了 shuffle 性能
  • 支持在 EC2 脚本中跨多个可用区启动集群
  • 支持在 EC2 集群终止时删除安全组
  • 改进了独立部署集群守护程序的内存配置：它们现在使用一个单独的变量 SPARK_DAEMON_MEMORY，默认值为 512 MB，而不是使用 SPARK_MEM 来设置它们的内存，这通常会导致人们给它们分配比预期更多的内存
  • 修复了 Spark 的 Windows 运行脚本
  • 更好地检测机器的外部 IP 地址
  • 一些小的优化和 bug 修复

总共有 11 个人为这个版本做出了贡献

  • Stephen Haberman (bug 修复)
  • Shane Huang (shuffle 修复)
  • Fernand Pajot (bug 修复)
  • Andrew Psaltis (bug 修复)
  • Imran Rashid (独立集群, bug 修复)
  • Charles Reiss (容错恢复修复, 节点重新注册, 测试)
  • Josh Rosen (容错恢复, Java API 修复, 部署脚本)
  • Peter Sankauskas (EC2 脚本)
  • Lee Moon Soo (bug 修复)
  • Patrick Wendell (bugs, 文档)
  • Matei Zaharia (容错恢复, UI, 文档, bug 修复)


Spark 新闻存档

最新消息

存档