Spark 发布 3.5.6

Spark 3.5.6 是包含安全和正确性修复的第六个维护版本。此版本基于 Spark 的 branch-3.5 维护分支。我们强烈建议所有 3.5 用户升级到此稳定版本。

显著变化

• [SPARK-51272]: DagScheduler 中的竞争条件可能导致非确定性分区键的所有分区重试失败
• [SPARK-51821]: UninterruptibleThread 中可能出现死锁
• [SPARK-51936]: ReplaceTableAsSelect 应该覆盖新表而不是追加
• [SPARK-51638]: 通过外部 shuffle 服务获取远程磁盘存储的 RDD 块不工作
• [SPARK-51537]: 无法在 Spark Connect 上运行第三方 Spark ML 库
• [SPARK-49507]: 修复“Expected only partition pruning predicates”异常
• [SPARK-45994]: 将 description-file 更改为 description_file
• [SPARK-50416]: load-spark-env.sh 终端或管道测试损坏 / 不可移植
• [SPARK-51281]: DataFrameWriterV2 应遵循 path 选项
• [SPARK-51450]: BarrierCoordinator 线程在 Spark 单机模式下未退出
• [SPARK-43221]: 主机本地块获取应使用存储在磁盘上的块的状态
• [SPARK-48922]: 优化复杂类型插入性能
• [SPARK-51307]: CatalogStorageFormat 中的 locationUri 应被解码
• [SPARK-51344]: 修复 *.template 中 ENV 键值格式

依赖项更改

尽管这是一个维护版本，但我们仍然在此版本中升级了一些依赖项，它们是

• [SPARK-52025]: 将 ORC 升级到 1.9.6

您可以查阅 JIRA 以获取详细更改。

我们衷心感谢所有社区成员为本次发布贡献补丁。

Spark 新闻存档