Spark 3.3.4 版本发布

Spark 3.3.4 是最后一个包含安全和正确性修复的维护版本。此版本基于 Spark 的 branch-3.3 维护分支。我们强烈建议所有 3.3 用户升级到此稳定版本。

显著变化

  • [SPARK-43327]: 在 FileFormatWriter#write 中执行计划前触发 committer.setupJob
  • [SPARK-43393]: 修复序列表达式溢出错误
  • [SPARK-44547]: 忽略缓存 RDD 迁移的备用存储
  • [SPARK-44581]: 修复 ShutdownHookManager 从 ApplicationMaster 的 SecurityManager 获取错误 UGI 的错误
  • [SPARK-44725]: 完善 spark.network.timeoutInterval 文档
  • [SPARK-44805]: getBytes/getShorts/getInts/等方法应在带有字典的列向量中正常工作
  • [SPARK-44857]: 修复 Spark Worker LogPage UI 按钮中 getBaseURI 错误
  • [SPARK-44871]: 修复 percentile_disc 行为
  • [SPARK-44920]: 在 TransportClientFactory.createClient() 中使用 await() 而不是 awaitUninterruptibly()
  • [SPARK-44925]: K8s 默认服务令牌文件不应具化为令牌
  • [SPARK-44935]: 修复 Docker 镜像中 RELEASE 文件（如果存在）的信息不正确的问题
  • [SPARK-44937]: 在 TransportClient.close 中将连接标记为超时
  • [SPARK-44973]: 修复 conv() 中的 ArrayIndexOutOfBoundsException
  • [SPARK-44990]: 减少获取 spark.sql.legacy.nullValueWrittenAsQuotedEmptyStringCsv 的频率
  • [SPARK-45057]: 当 keepReadLock 为 false 时避免获取读锁
  • [SPARK-45079]: 修复 percentile_approx() 在 NULL 精度下导致的内部错误
  • [SPARK-45100]: 修复 reflect() 在 NULL 类和方法下导致的内部错误
  • [SPARK-45187]: 修复 WorkerPage 以对 logPage url 使用相同模式
  • [SPARK-45227]: 修复 CoarseGrainedExecutorBackend 中一个微妙的线程安全问题
  • [SPARK-45389]: 更正获取分区元数据时 MetaException 的匹配规则
  • [SPARK-45430]: 修复 FramelessOffsetWindowFunction 在 IGNORE NULLS 且 offset > rowCount 时的问题
  • [SPARK-45508]: 添加 “--add-opens=java.base/jdk.internal.ref=ALL-UNNAMED” 以便 Platform 在 Java 9+ 上访问 Cleaner
  • [SPARK-45580]: 处理嵌套子查询变为存在连接的情况
  • [SPARK-45670]: 在 K8s 上部署时 SparkSubmit 不支持 --total-executor-cores
  • [SPARK-45749]: 修复 Spark History Server 正确排序 Duration 列的问题
  • [SPARK-45920]: 按序号分组应是幂等的
  • [SPARK-46006]: YarnAllocator 在 YarnSchedulerBackend 调用 stop 后未能清除 targetNumExecutorsPerResourceProfileId
  • [SPARK-46012]: 如果应用程序状态文件丢失，EventLogFileReader 不应读取滚动日志
  • [SPARK-46029]: 为 DS V2 下推转义单引号、_ 和 %
  • [SPARK-46092]: 不要下推溢出的 Parquet 行组过滤器
  • [SPARK-46095]: 完善 Spark 独立集群的 REST API 文档
  • [SPARK-46239]: 隐藏 Jetty 信息
  • [SPARK-46286]: 完善 spark.io.compression.zstd.bufferPool.enabled 文档

依赖项变更

尽管这是一个维护版本，我们仍在本次发布中升级了一些依赖项，它们是：

您可以查阅 JIRA 以获取详细变更。

我们要感谢所有社区成员为本次发布贡献的补丁。


Spark 新闻存档

最新新闻

存档