Spark 3.5.3 版本发布

Spark 3.5.3 是第三个维护版本，包含安全性和正确性修复。此版本基于 Spark 的 branch-3.5 维护分支。我们强烈建议所有 3.5 用户升级到此稳定版本。

值得注意的更改

  • [SPARK-49176] - 通过添加 K8s 修复 spark.ui.custom.executor.log.url 文档
  • [SPARK-49182] - 停止发布 site/docs/{version}/api/python/_sources
  • [SPARK-49197] - 在 launcher 模块中编辑 Spark Command 输出
  • [SPARK-43242] - diagnoseCorruption 不应为 ShuffleBlockBatchId 抛出 BlockId 的意外类型
  • [SPARK-46037] - 当 Left Join 构建 Left 时，ShuffledHashJoinExec 可能会导致不正确的结果
  • [SPARK-46632] - EquivalentExpressions 抛出 IllegalStateException
  • [SPARK-48965] - 如果 DecimalType 信息在 as[Product] 中丢失，toJSON 会产生错误的值
  • [SPARK-49038] - Spark UI 显示最小和中位时间的错误时间指标。
  • [SPARK-49039] - 在 Stages 选项卡中加载执行器指标时重置复选框
  • [SPARK-49179] - 修复 v2 多桶内部联接抛出 AssertionError
  • [SPARK-49183] - V2SessionCatalog.createTable 应遵守 PROP_IS_MANAGED_LOCATION
  • [SPARK-49193] - 提高 RowSetUtils.toColumnBasedSet 的性能
  • [SPARK-49200] - 修复空类型非代码生成排序异常
  • [SPARK-49300] - 修复未设置 tokenRenewalInterval 时 Hadoop 委托令牌泄漏问题。
  • [SPARK-49333] - 在清理 SparkExecuteStatementOperation 时关闭超时线程
  • [SPARK-49352] - 避免对相同表达式进行多余的数组转换
  • [SPARK-49359] - 允许 StagedTableCatalog 实现回退到非原子写入
  • [SPARK-49381] - 修复 SPARK-41388 测试用例以断言结果
  • [SPARK-49385] - 修复 getReusablePVCs 以使用 podCreationTimeout 而不是 podAllocationDelay
  • [SPARK-49402] - 修复 PySpark 文档中的 Binder 集成
  • [SPARK-49476] - Base64 可空性更改
  • [SPARK-49480] - 来自 SparkThrowableHelper.isInternalError 方法的 NullPointerException
  • [SPARK-49509] - 使用 Platform.allocateDirectBuffer 代替 ByteBuffer.allocateDirect
  • [SPARK-49152] - V2SessionCatalog 应该使用 V2Command
  • [SPARK-49211] - V2 Catalog 也可以支持内置数据源
  • [SPARK-49246] - TableCatalog#loadTable 应该指示它是否用于写入
  • [SPARK-49275] - 修复 xpath 表达式的返回类型 nullness
  • [SPARK-49408] - ProjectingInternalRow 中的性能不佳

依赖更改

您可以查阅 JIRA 获取详细的更改。

我们要感谢所有社区成员为此次发布贡献补丁。


Spark 新闻存档

最新消息

存档