Spark 3.5.4 版本发布

Spark 3.5.4 是包含安全性和正确性修复的第三个维护版本。此版本基于 Spark 的 branch-3.5 维护分支。我们强烈建议所有 3.5 用户升级到此稳定版本。

主要变更

  • [SPARK-47702]: 当 RDD 块从节点中移除时，从位置列表中移除 Shuffle 服务端点
  • [SPARK-48155]: 连接操作的 AQEPropagateEmptyRelation 应检查剩余子项是否仅为 BroadcastQueryStageExec
  • [SPARK-49261]: 不要用 group-by 表达式替换聚合表达式中的字面量
  • [SPARK-49294]: 为 shuffle-write-time 复选框添加 width 属性
  • [SPARK-49501]: 修复表位置的双重转义问题
  • [SPARK-49595]: 修复 Spark Connect Scala 客户端中的 DataFrame.unpivot/melt
  • [SPARK-49628]: ConstantFolding 应在评估前复制有状态表达式
  • [SPARK-49695]: Postgres 修复 xor 下推问题
  • [SPARK-49699]: 对流式工作负载禁用 PruneFilters
  • [SPARK-49743]: OptimizeCsvJsonExpr 在剪枝 GetArrayStructFields 时不应更改 schema 字段
  • [SPARK-49782]: ResolveDataFrameDropColumns 规则用子输出解析 UnresolvedAttribute
  • [SPARK-49791]: 使 DelegatingCatalogExtension 更具可扩展性
  • [SPARK-49804]: 修复始终使用执行器容器的退出码的问题
  • [SPARK-49816]: 仅应更新引用外部 CTE 关系的 out-going-ref-count
  • [SPARK-49819]: 正确禁用聚合投影中相关子查询的 CollapseProject
  • [SPARK-49829]: 修复流-流连接中向状态存储添加输入的优化错误
  • [SPARK-49836]: 修复当窗口提供给 window/session_window 函数时可能损坏的查询
  • [SPARK-49843]: 修复 char/varchar 列的更改注释问题
  • [SPARK-49959]: 修复 ColumnarArray.copy() 从正确偏移量读取空值的问题
  • [SPARK-49979]: 修复在失败计划上两次收集时 AQE 卡住的问题
  • [SPARK-50021]: 修复 ApplicationPage 在禁用 UI 时隐藏 App UI 链接的问题
  • [SPARK-50022]: 修复 MasterPage 在禁用 UI 时隐藏 App UI 链接的问题
  • [SPARK-50087]: 为 MsSqlServer 和未来的连接器稳健处理 CASE WHEN 中的布尔表达式
  • [SPARK-50176]: 会话关闭后不允许重新连接
  • [SPARK-50195]: 修复 StandaloneRestServer 正确将 spark.app.name 传播到 SparkSubmit 的问题
  • [SPARK-50210]: 修复 SparkSubmit 正确显示 REST API kill 响应的问题
  • [SPARK-50235]: 在 ColumnarToRowExec 中处理完所有行后清理 ColumnVector 资源
  • [SPARK-50258]: 修复 AQE 优化后输出列顺序改变的问题
  • [SPARK-50312]: 当 kerberos 为 true 时 SparkThriftServer createServer 参数传递错误
  • [SPARK-50421]: 修复在多个资源配置文件生效时执行器相关内存配置不正确的问题
  • [SPARK-50433]: 修复 Spark on YARN 和 UT 的 log4j2 配置指南文档
  • [SPARK-50463]: 修复 ConstantColumnVector 与列式到行式转换的问题
  • [SPARK-50483]: 即使启用了 ignoreCorruptFiles 也应抛出 BlockMissingException
  • [SPARK-50492]: 修复 dropDuplicatesWithinWatermark 后事件时间列被删除时 java.util.NoSuchElementException 的问题
  • [SPARK-50498]: 避免在 listFunctions 中进行不必要的 py4j 调用
  • [SPARK-50505]: 修复 spark.storage.replication.proactive 默认值文档
  • [SPARK-50510]: 修复零星的 ReattachableExecuteSuite 失败
  • [SPARK-50545]: 即使启用了 ignoreCorruptFiles 也应抛出 AccessControlException

依赖变更

作为维护版本，我们在此版本中仍升级了一些依赖项，它们是

您可以查阅 JIRA 获取详细变更。

我们感谢所有社区成员为本次发布贡献补丁。


Spark 新闻存档

最新新闻

存档