Spark 0.6.1 版本发布
Spark 0.6.1 是一个维护版本,包含多个重要的错误修复和性能改进。您可以下载其源代码包(2.4 MB tar.gz)或预构建包(48 MB tar.gz)。
此版本中的修复和改进包括:
- 修复了过度激进的消息超时,这可能导致工作节点与集群断开连接
- 修复了独立部署模式中未向调度器公开主机名,从而影响 HDFS 本地性的错误
- 改进了 shuffle 中的连接复用,这可以大大加快小型 shuffle 的速度(由 Reynold Xin 贡献)
- 修复了块管理器中的一些潜在死锁(由 Tathagata Das 贡献)
- 修复了从 Mesos 获取失败主机 ID 的错误(由 Imran Rashid 贡献)
- 几项 EC2 脚本改进,例如更好地处理竞价实例(由 Josh Rosen 贡献)
- 使 Spark 绑定的本地 IP 地址可自定义(由 Mikhail Bautin 贡献)
- 支持 Hadoop 2 分发版(由 Thomas Dudziak 贡献)
- 支持在 Debian 分发版上定位 Scala(由 Thomas Dudziak 贡献)
- 改进了独立集群 Web UI,以显示更多作业信息
- 添加了一个选项,用于将作业分散到独立集群中,而不是集中在少量节点上(
spark.deploy.spreadOut
)
我们建议所有 Spark 0.6 用户更新到此维护版本。
Spark 新闻归档