Spark 3.1.3 版本

Spark 3.1.3 是一个包含稳定性修复的维护版本。 此版本基于 Spark 的 branch-3.1 维护分支。 我们强烈建议所有 3.1.3 用户升级到此稳定版本。

值得注意的更改

  • [SPARK-38075]: 带有 order by 和 limit 的 Hive script transform 会返回伪造的行
  • [SPARK-37784]: CodeGenerator.addBufferedState() 无法正确处理 UDT
  • [SPARK-37079]: 修复 DataFrameWriterV2.partitionedBy 以将参数正确发送到 JVM
  • [SPARK-37049]: executorIdleTimeout 不适用于 K8s 上处于等待状态的 Pod
  • [SPARK-36783]: ScanOperation 不应通过不确定的 Project 推送 Filter
  • [SPARK-36782]: 在迁移 shuffle blocks 时，map-output-dispatcher 和 dispatcher-BlockManagerMaster 之间发生死锁
  • [SPARK-36704]: 在 Java 9+ 上启动时出现 InaccessibleObjectException
  • [SPARK-36740]: 数组操作的各种 NaN 问题。
  • [SPARK-36532]: CoarseGrainedExecutorBackend.onDisconnected 中的死锁
  • [SPARK-36489]: 对没有分组键的表（单桶）执行聚合函数时，返回多行
  • [SPARK-36339]: aggsBuffer 应该在 map 范围内收集 AggregateExpression
  • [SPARK-35391]: ExecutorAllocationListener 中的内存泄漏在高负载下破坏了动态分配

依赖项变更

虽然是维护版本，但我们仍然在此版本中升级了一些依赖项，它们是

您可以查阅 JIRA 以获取详细的更改。

我们要感谢所有为该版本贡献补丁的社区成员。


Spark 新闻存档

最新消息

存档