Spark 3.5.3 版本发布

Spark 3.5.3 是第三个维护版本，包含安全性和正确性修复。此版本基于 Spark 的 branch-3.5 维护分支。我们强烈建议所有 3.5 用户升级到此稳定版本。

显著变化

  • [SPARK-49176] - 通过添加 K8s 修复 spark.ui.custom.executor.log.url 文档
  • [SPARK-49182] - 停止发布 site/docs/{version}/api/python/_sources
  • [SPARK-49197] - 遮蔽 launcher 模块中的 Spark Command 输出
  • [SPARK-43242] - diagnoseCorruption 不应为 ShuffleBlockBatchId 抛出 Unexpected type of BlockId 错误
  • [SPARK-46037] - 当 Left Join 构建 Left 时，ShuffledHashJoinExec 可能会导致不正确的结果
  • [SPARK-46632] - EquivalentExpressions 抛出 IllegalStateException
  • [SPARK-48965] - 如果在 as[Product] 中丢失 DecimalType 信息，toJSON 会产生错误的值
  • [SPARK-49038] - Spark UI 显示的最小时间和中位时间指标不正确。
  • [SPARK-49039] - 在“阶段”选项卡中加载执行器指标时重置复选框
  • [SPARK-49179] - 修复 v2 多分桶内连接抛出 AssertionError 的问题
  • [SPARK-49183] - V2SessionCatalog.createTable 应遵循 PROP_IS_MANAGED_LOCATION
  • [SPARK-49193] - 提高 RowSetUtils.toColumnBasedSet 的性能
  • [SPARK-49200] - 修复空类型非代码生成排序异常
  • [SPARK-49300] - 修复未设置 tokenRenewalInterval 时 Hadoop 委托令牌泄漏的问题。
  • [SPARK-49333] - 清理 SparkExecuteStatementOperation 时关闭超时线程
  • [SPARK-49352] - 避免对相同表达式进行冗余数组转换
  • [SPARK-49359] - 允许 StagedTableCatalog 实现回退到非原子写入
  • [SPARK-49381] - 修复 SPARK-41388 测试用例以断言结果
  • [SPARK-49385] - 修复 getReusablePVCs 以使用 podCreationTimeout 而不是 podAllocationDelay
  • [SPARK-49402] - 修复 PySpark 文档中的 Binder 集成
  • [SPARK-49476] - Base64 可空性变更
  • [SPARK-49480] - SparkThrowableHelper.isInternalError 方法抛出的 NullPointerException
  • [SPARK-49509] - 使用 Platform.allocateDirectBuffer 而不是 ByteBuffer.allocateDirect
  • [SPARK-49152] - V2SessionCatalog 应该使用 V2Command
  • [SPARK-49211] - V2 Catalog 也可以支持内置数据源
  • [SPARK-49246] - TableCatalog#loadTable 应指明是否用于写入
  • [SPARK-49275] - 修复 xpath 表达式返回类型的空值问题
  • [SPARK-49408] - ProjectingInternalRow 性能不佳

依赖项变更

您可以查阅 JIRA 获取详细变更。

我们感谢所有为本次发布贡献补丁的社区成员。


Spark 新闻存档

最新新闻

存档