Spark 0.6.1 版本发布

Spark 0.6.1 是一个维护版本,包含多个重要的错误修复和性能改进。您可以下载其源代码包(2.4 MB tar.gz)或预构建包(48 MB tar.gz)。

此版本中的修复和改进包括:

  • 修复了过度激进的消息超时,这可能导致工作节点与集群断开连接
  • 修复了独立部署模式中未向调度器公开主机名,从而影响 HDFS 本地性的错误
  • 改进了 shuffle 中的连接复用,这可以大大加快小型 shuffle 的速度(由 Reynold Xin 贡献)
  • 修复了块管理器中的一些潜在死锁(由 Tathagata Das 贡献)
  • 修复了从 Mesos 获取失败主机 ID 的错误(由 Imran Rashid 贡献)
  • 几项 EC2 脚本改进,例如更好地处理竞价实例(由 Josh Rosen 贡献)
  • 使 Spark 绑定的本地 IP 地址可自定义(由 Mikhail Bautin 贡献)
  • 支持 Hadoop 2 分发版(由 Thomas Dudziak 贡献)
  • 支持在 Debian 分发版上定位 Scala(由 Thomas Dudziak 贡献)
  • 改进了独立集群 Web UI,以显示更多作业信息
  • 添加了一个选项,用于将作业分散到独立集群中,而不是集中在少量节点上(spark.deploy.spreadOut

我们建议所有 Spark 0.6 用户更新到此维护版本。


Spark 新闻归档