Spark 版本 3.1.3

Spark 3.1.3 是一个包含稳定性修复的维护版本。此版本基于 Spark 的 branch-3.1 维护分支。我们强烈建议所有 3.1.3 用户升级到此稳定版本。

显著变化

  • [SPARK-38075]: Hive 脚本转换在带有 order by 和 limit 时会返回假行
  • [SPARK-37784]: CodeGenerator.addBufferedState() 无法正确处理 UDT
  • [SPARK-37079]: 修复 DataFrameWriterV2.partitionedBy 以正确将参数发送到 JVM
  • [SPARK-37049]: executorIdleTimeout 对 K8s 上待处理的 pod 不起作用
  • [SPARK-36783]: ScanOperation 不应通过非确定性 Project 推送 Filter
  • [SPARK-36782]: 迁移 shuffle 块时 map-output-dispatcher 和 dispatcher-BlockManagerMaster 之间发生死锁
  • [SPARK-36704]: Java 9+ 启动时出现 InaccessibleObjectException
  • [SPARK-36740]: 数组操作中的各种 NaN 问题。
  • [SPARK-36532]: CoarseGrainedExecutorBackend.onDisconnected 中发生死锁
  • [SPARK-36489]: 在没有分组键的单桶表上，聚合函数返回多行
  • [SPARK-36339]: aggsBuffer 应在映射范围内收集 AggregateExpression
  • [SPARK-35391]: ExecutorAllocationListener 中的内存泄漏在高负载下破坏了动态分配

依赖项变更

尽管这是一个维护版本，但我们在此版本中仍然升级了一些依赖项，它们是：

您可以查阅 JIRA 以获取 详细变更。

我们感谢所有社区成员为本次发布贡献补丁。


Spark 新闻存档

最新新闻

存档