Spark 2.4.1 版本发布

Spark 2.4.1 是一个包含稳定性修复的维护版本。此版本基于 Spark 的 branch-2.4 维护分支。 我们强烈建议所有 2.4.0 用户升级到此稳定版本。

在 Apache Spark 2.4.1 中,Scala 2.12 支持是 GA,不再是实验性的。 我们将在 Spark 3.0 中删除 Scala 2.11 支持,请向我们提供反馈。

您可以查阅 JIRA 以了解详细的更改

核心和 Spark SQL

  • 性能和稳定性
    • [SPARK-26266] 更新到 Scala 2.12.8(需要最新的 Java 8 版本)
    • [SPARK-26188] Spark 2.4.0 分区行为破坏了向后兼容性
  • 其他值得注意的更改

Windows

  • 性能和稳定性

已知问题

  • CORE
    • [SPARK-27419]:如果 spark.executor.heartbeatInterval 小于 1 秒,它将始终设置为零,导致超时。

我们要感谢所有社区成员为本次发布贡献补丁。


Spark 新闻存档

最新消息

存档