Spark 2.4.2 是一个包含稳定性修复的维护版本。此版本基于 Spark 的 branch-2.4 维护分支。我们强烈建议所有 2.4 用户升级到此稳定版本。
请注意,从 2.4.1 版本开始,对 Scala 2.11 的支持已被弃用。截至 2.4.2,预构建的便捷二进制文件是为 Scala 2.12 编译的。Spark 仍然在 Maven Central 上同时发布了 2.11 和 2.12 版本,并且可以从源代码构建 2.11 版本。
spark.executor.heartbeatInterval
设置为小于 1 秒的值时,它将始终失败,因为该值将被转换为 0,并且心跳将始终超时,最终导致执行器被终止。您可以查阅 JIRA 以获取 详细更改。
我们在此感谢所有为本次版本发布贡献补丁的社区成员。