Spark 2.4.2 是一个维护版本,包含了稳定性修复。此版本基于 Spark 的 branch-2.4 维护分支。我们强烈建议所有 2.4 用户升级到此稳定版本。
请注意,从 2.4.1 版本开始,Scala 2.11 的支持已被弃用。截至 2.4.2 版本,预构建的便利二进制文件均针对 Scala 2.12 进行编译。Spark 在 Maven Central 中仍会针对 2.11 和 2.12 进行交叉发布,用户也可以通过源码构建 2.11 版本。
spark.executor.heartbeatInterval 设置为小于 1 秒的值时,它总是会失败,因为该值会被转换为 0,导致心跳超时并最终终止执行器(executor)。您可以查阅 JIRA 以获取详细的更改列表。
我们要感谢所有为本版本贡献补丁的社区成员。