Spark 3.5.4 版本发布

Spark 3.5.4 是第三个维护版本，包含安全性和正确性修复。此版本基于 Spark 的 branch-3.5 维护分支。我们强烈建议所有 3.5 用户升级到此稳定版本。

值得注意的更改

  • [SPARK-47702]: 从位置列表中删除 Shuffle 服务端点，当 RDD 块从节点中删除时
  • [SPARK-48155]: 用于连接的 AQEPropagateEmptyRelation 应该检查剩余的子节点是否仅仅是 BroadcastQueryStageExec
  • [SPARK-49261]: 不要用 group-by 表达式替换聚合表达式中的文字
  • [SPARK-49294]: 为 shuffle-write-time 复选框添加宽度属性
  • [SPARK-49501]: 修复表位置的双重转义
  • [SPARK-49595]: 修复 Spark Connect Scala 客户端中的 DataFrame.unpivot/melt
  • [SPARK-49628]: ConstantFolding 应该在评估之前复制有状态的表达式
  • [SPARK-49695]: Postgres 修复 xor 下推
  • [SPARK-49699]: 为流式工作负载禁用 PruneFilters
  • [SPARK-49743]: OptimizeCsvJsonExpr 不应在修剪 GetArrayStructFields 时更改 schema 字段
  • [SPARK-49782]: ResolveDataFrameDropColumns 规则解析带有子输出的 UnresolvedAttribute
  • [SPARK-49791]: 使 DelegatingCatalogExtension 更具扩展性
  • [SPARK-49804]: 修复始终使用 executor 容器退出代码的问题
  • [SPARK-49816]: 应该只更新被引用的外部 CTE 关系的传出引用计数
  • [SPARK-49819]: 在聚合上的投影中正确禁用关联子查询的 CollapseProject
  • [SPARK-49829]: 修复在流-流连接中向状态存储添加输入的优化中的错误
  • [SPARK-49836]: 修复当窗口提供给 window/session_window 函数时可能损坏的查询
  • [SPARK-49843]: 修复 char/varchar 列上的更改注释
  • [SPARK-49959]: 修复 ColumnarArray.copy() 以从正确的偏移量读取空值
  • [SPARK-49979]: 修复在失败的计划上收集两次时 AQE 挂起问题
  • [SPARK-50021]: 修复 ApplicationPage 以在 UI 被禁用时隐藏 App UI 链接
  • [SPARK-50022]: 修复 MasterPage 以在 UI 被禁用时隐藏 App UI 链接
  • [SPARK-50087]: 针对 MsSqlServer 和未来连接器，在 CASE WHEN 中稳健处理布尔表达式
  • [SPARK-50176]: 禁止在会话关闭后重新连接
  • [SPARK-50195]: 修复 StandaloneRestServer 以将 spark.app.name 正确传播到 SparkSubmit
  • [SPARK-50210]: 修复 SparkSubmit 以正确显示 REST API kill 响应
  • [SPARK-50235]: 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源
  • [SPARK-50258]: 修复 AQE 优化后输出列顺序更改的问题
  • [SPARK-50312]: 当 kerberos 为 true 时，SparkThriftServer createServer 参数传递错误
  • [SPARK-50421]: 修复当多个资源配置文件工作时执行器相关的内存配置不正确的问题
  • [SPARK-50433]: 修复 YARN 和 UT 上 Spark 的 log4j2 指南文档的配置
  • [SPARK-50463]: 修复 Columnar 到 Row 转换的 ConstantColumnVector
  • [SPARK-50483]: 即使启用了 ignoreCorruptFiles，也应该抛出 BlockMissingException
  • [SPARK-50492]: 修复在 dropDuplicatesWithinWatermark 之后删除事件时间列时出现的 java.util.NoSuchElementException
  • [SPARK-50498]: 避免在 listFunctions 中不必要的 py4j 调用
  • [SPARK-50505]: 修复 spark.storage.replication.proactive 默认值文档
  • [SPARK-50510]: 修复零星的 ReattachableExecuteSuite 失败
  • [SPARK-50545]: 即使启用了 ignoreCorruptFiles，也应该抛出 AccessControlException

依赖项更改

虽然是维护版本，但我们仍然在此版本中升级了一些依赖项，它们是

您可以查阅 JIRA 以获取详细的更改。

我们要感谢所有社区成员为这个版本贡献补丁。


Spark 新闻存档

最新消息

存档