Spark 3.3.4 版本发布

Spark 3.3.4 是最后一个包含安全性和正确性修复的维护版本。此版本基于 Spark 的 branch-3.3 维护分支。我们强烈建议所有 3.3 用户升级到此稳定版本。

值得注意的更改

  • [SPARK-43327]: 在 FileFormatWriter#write 中，在计划执行之前触发 committer.setupJob
  • [SPARK-43393]: 解决序列表达式溢出错误
  • [SPARK-44547]: 忽略缓存的 RDD 迁移的后备存储
  • [SPARK-44581]: 修复 ShutdownHookManager 从 ApplicationMaster 的 SecurityManager 获取错误的 UGI 的错误
  • [SPARK-44725]: 文档 spark.network.timeoutInterval
  • [SPARK-44805]: getBytes/getShorts/getInts/etc. 应该在具有字典的列向量中工作
  • [SPARK-44857]: 修复 Spark Worker LogPage UI 按钮中的 getBaseURI 错误
  • [SPARK-44871]: 修复 percentile_disc 行为
  • [SPARK-44920]: 在 TransportClientFactory.createClient() 中使用 await() 而不是 awaitUninterruptibly()
  • [SPARK-44925]: K8s 默认服务令牌文件不应被物化到令牌中
  • [SPARK-44935]: 如果存在，修复 RELEASE 文件以在 Docker 镜像中具有正确的信息
  • [SPARK-44937]: 在 TransportClient.close 中将连接标记为 timedOut
  • [SPARK-44973]: 修复 conv() 中的 ArrayIndexOutOfBoundsException
  • [SPARK-44990]: 降低获取 spark.sql.legacy.nullValueWrittenAsQuotedEmptyStringCsv 的频率
  • [SPARK-45057]: 当 keepReadLock 为 false 时，避免获取读锁
  • [SPARK-45079]: 修复 percentile_approx() 在 NULL 精度上的内部错误
  • [SPARK-45100]: 修复 reflect() 在 NULL 类和方法上的内部错误
  • [SPARK-45187]: 修复 WorkerPage 以对 logPage url 使用相同的模式
  • [SPARK-45227]: 修复 CoarseGrainedExecutorBackend 中一个微妙的线程安全问题
  • [SPARK-45389]: 更正获取分区元数据时的 MetaException 匹配规则
  • [SPARK-45430]: 修复当 IGNORE NULLS 且 offset > rowCount 时的 FramelessOffsetWindowFunction
  • [SPARK-45508]: 添加 “–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED”，以便 Platform 可以访问 Java 9+ 上的 Cleaner
  • [SPARK-45580]: 处理嵌套子查询变为存在连接的情况
  • [SPARK-45670]: 在 K8s 上部署时，SparkSubmit 不支持 --total-executor-cores
  • [SPARK-45749]: 修复 Spark History Server 以正确排序 Duration 列
  • [SPARK-45920]: group by ordinal 应该是幂等的
  • [SPARK-46006]: YarnSchedulerBackend 调用 stop 后，YarnAllocator 缺少清除 targetNumExecutorsPerResourceProfileId
  • [SPARK-46012]: 如果应用程序状态文件丢失，EventLogFileReader 不应读取滚动日志
  • [SPARK-46029]: 转义 DS V2 下推的单引号、_ 和 %
  • [SPARK-46092]: 不要下推溢出的 Parquet 行组过滤器
  • [SPARK-46095]: 文档 Spark Standalone 集群的 REST API
  • [SPARK-46239]: 隐藏 Jetty 信息
  • [SPARK-46286]: 文档 spark.io.compression.zstd.bufferPool.enabled

依赖变更

虽然是维护版本，但我们仍然在此版本中升级了一些依赖项，它们是

您可以查阅 JIRA 以获取详细更改。

我们要感谢所有社区成员为该版本的补丁做出贡献。


Spark 新闻存档

最新消息

存档