Spark 发布 3.5.5

Spark 3.5.5 是第四个维护版本，包含安全和正确性修复。此版本基于 Spark 的 branch-3.5 维护分支。我们强烈建议所有 3.5 用户升级到此稳定版本。

显著变化

• [SPARK-45013]: 带 NPE 的不稳定测试：按 taskId 跟踪已分配资源
• [SPARK-48899]: 修复 K8s Dockerfile 中 ENV 键值格式
• [SPARK-50091]: 当聚合表达式在 IN 子查询的左操作数中时，查询失败
• [SPARK-50624]: 将 TimestampNTZType 添加到 ColumnarRow/MutableColumnarRow
• [SPARK-50769]: HistogramNumeric 中的 ClassCastException
• [SPARK-50784]: 修复 lint-scala 以不忽略 scalastyle 错误
• [SPARK-50797]: 将 HiveCharVarcharTestSuite 从 o/a/s/sql 移动到 o/a/s/sql/hive
• [SPARK-50853]: 关闭临时 shuffle 文件可写通道
• [SPARK-50870]: DataSourceV2 关系在具体化 current_timestamp() 后可能包含未解析的类型转换表达式
• [SPARK-50890]: 在仅 Spark Connect 构建中跳过 test_take
• [SPARK-50946]: 当使用 Java 17.0.14 版本时，UtilsSuite 中的 SPARK-35907: createDirectory 测试将失败。
• [SPARK-50984]: 通过正则表达式匹配 JDK 消息使 ExpressionImplUtilsSuite 更健壮
• [SPARK-50987]: 更新 spark-connect-overview.md 的版本字符串
• [SPARK-50998]: 修复文档中 spark.kubernetes.configMap.maxSize 的默认值
• [SPARK-51027]: 防止在非测试环境中调用 HiveClient.runSqlHive
• [SPARK-51033]: 修复 CryptoStreamUtilsSuite 使用 sameElements 进行数组比较
• [SPARK-51039]: 修复 hive-llap-common 依赖项以在根 pom.xml 中使用 hive.llap.scope
• [SPARK-51042]: 使用一次调用 get/putLong 一致地读写 CalendarIntervals
• [SPARK-51061]: 在 REST 提交 API 中隐藏 Jetty 信息
• [SPARK-51071]: 将 upload-artifact 升级到 v4 以恢复 branch-3.5 CI
• [SPARK-51093]: 修复测试中次要的字节序问题
• [SPARK-51104]: 在 Spark 网站中使用自托管的 JavaScript 和 CSS
• [SPARK-51128]: 自托管 docsearch.min.css.map
• [SPARK-51129]: 修复 Spark 网站中的代码标签切换问题
• [SPARK-51157]: 为 Scala 函数 API 添加缺失的 @varargs Scala 注解
• [SPARK-51164]: 通过启用 hadoop.caller.context.enabled 修复 CallerContext 测试
• [SPARK-51173]: 添加 configName Scalastyle 规则
• [SPARK-51185]: 由于 OOM 风险增加，撤销 PartitionedFileUtil API 的简化
• [SPARK-51187]: 实现 SPARK-49699 中引入的错误配置的优雅弃用
• [SPARK-51219]: 当使用非 V2SessionCatalog 时，Catalog.listTables 在临时表上失败
• [SPARK-51244]: 将 GitHub Action 镜像从 ubuntu-20.04 升级到 ubuntu-22.04 并解决了 TPCDSQueryBenchmark 兼容性问题

依赖项变更

作为一个维护版本，我们在此版本中仍然升级了一些依赖项，它们是

• [SPARK-50886]: 将 Avro 升级到 1.11.4

您可以查阅 JIRA 获取详细变更。

我们要感谢所有社区成员为本次发布贡献补丁。

Spark 新闻存档