Spark 2.4.1 版本发布

Spark 2.4.1 是一个维护版本，包含稳定性修复。此版本基于 Spark 的 branch-2.4 维护分支。我们强烈建议所有 2.4.0 用户升级到此稳定版本。

在 Apache Spark 2.4.1 中，Scala 2.12 支持已正式发布 (GA)，不再是实验性功能。我们将在 Spark 3.0 中放弃对 Scala 2.11 的支持，请务必向我们提供反馈。

您可以查阅 JIRA 以获取详细变更。

核心和 Spark SQL

• 性能和稳定性
  • [SPARK-26266] 更新到 Scala 2.12.8（需要较新的 Java 8 版本）
  • [SPARK-26188] Spark 2.4.0 分区行为破坏了向后兼容性
• 其他值得注意的变更
  • [SPARK-27198] Driver 和 Executor 中的心跳间隔不匹配

Windows

• 性能和稳定性
  • [SPARK-26080] 无法在 Windows 上运行 worker.py

已知问题

• 核心
  • [SPARK-27419]：如果 spark.executor.heartbeatInterval 小于一秒，它将始终被设置为零，导致超时。

我们衷心感谢所有社区成员为本次发布贡献补丁。

Spark 新闻存档