迁移指南：Spark Core

• 从 Core 3.4 升级到 3.5
• 从 Core 3.3 升级到 3.4
• 从 Core 3.2 升级到 3.3
• 从 Core 3.1 升级到 3.2
• 从 Core 3.0 升级到 3.1
• 从 Core 2.4 升级到 3.0

从 Core 3.4 升级到 3.5

• 从 Spark 3.5 开始，spark.yarn.executor.failuresValidityInterval 已弃用。请改用 spark.executor.failuresValidityInterval。

• 从 Spark 3.5 开始，spark.yarn.max.executor.failures 已弃用。请改用 spark.executor.maxNumFailures。

从 Core 3.3 升级到 3.4

• 从 Spark 3.4 开始，Spark 驱动程序将拥有 PersistentVolumnClaim 并尝试在它们未分配给活动执行器时重用它们。要恢复 Spark 3.4 之前的行为，可以将 spark.kubernetes.driver.ownPersistentVolumeClaim 设置为 false，并将 spark.kubernetes.driver.reusePersistentVolumeClaim 设置为 false。

• 从 Spark 3.4 开始，Spark 驱动程序在启用动态分配且没有 shuffle 服务的情况下将跟踪 shuffle 数据。要恢复 Spark 3.4 之前的行为，可以将 spark.dynamicAllocation.shuffleTracking.enabled 设置为 false。

• 从 Spark 3.4 开始，如果 spark.decommission.enabled 和 spark.storage.decommission.enabled 均为 true，Spark 将尝试停用缓存的 RDD 和 shuffle 块。要恢复 Spark 3.4 之前的行为，可以将 spark.storage.decommission.rddBlocks.enabled 和 spark.storage.decommission.shuffleBlocks.enabled 均设置为 false。

• 从 Spark 3.4 开始，如果 spark.history.store.hybridStore.enabled 为 true，Spark 将使用 RocksDB 存储。要恢复 Spark 3.4 之前的行为，可以将 spark.history.store.hybridStore.diskBackend 设置为 LEVELDB。

从 Core 3.2 升级到 3.3

• 从 Spark 3.3 开始，Spark 将其 log4j 依赖项从 1.x 迁移到 2.x，因为 log4j 1.x 已达到生命周期结束，不再受社区支持。2015 年 8 月之后针对 log4j 1.x 报告的漏洞未经检查，也不会修复。用户应使用 log4j2 语法（XML、JSON、YAML 或属性格式）重写原始 log4j 属性文件。Spark 将 conf/log4j.properties.template（包含在 Spark 发行版中）重写为 conf/log4j2.properties.template，并使用 log4j2 属性格式。

从 Core 3.1 升级到 3.2

• 从 Spark 3.2 开始，spark.scheduler.allocation.file 支持使用 Hadoop 文件系统读取远程文件，这意味着如果路径没有方案，Spark 将尊重 Hadoop 配置来读取它。要恢复 Spark 3.2 之前的行为，可以为 spark.scheduler.allocation.file 指定本地方案，例如 file:///path/to/file。

• 从 Spark 3.2 开始，spark.hadoopRDD.ignoreEmptySplits 默认设置为 true，这意味着 Spark 不会为空输入拆分创建空分区。要恢复 Spark 3.2 之前的行为，可以将 spark.hadoopRDD.ignoreEmptySplits 设置为 false。

• 从 Spark 3.2 开始，spark.eventLog.compression.codec 默认设置为 zstd，这意味着 Spark 将不再回退使用 spark.io.compression.codec。

• 从 Spark 3.2 开始，spark.storage.replication.proactive 默认启用，这意味着 Spark 尝试在执行器故障导致缓存的 RDD 块副本丢失时进行补充。要恢复 Spark 3.2 之前的行为，可以将 spark.storage.replication.proactive 设置为 false。

• 在 Spark 3.2 中，spark.launcher.childConectionTimeout 已弃用（拼写错误），但仍然有效。请改用 spark.launcher.childConnectionTimeout。

• 在 Spark 3.2 中，对 Apache Mesos 作为资源管理器的支持已弃用，将在未来版本中删除。

• 在 Spark 3.2 中，Spark 将在应用程序自行终止时删除 K8s 驱动程序服务资源。要恢复 Spark 3.2 之前的行为，可以将 spark.kubernetes.driver.service.deleteOnTermination 设置为 false。

从 Core 3.0 升级到 3.1

• 在 Spark 3.0 及更低版本中，可以在执行器中创建 SparkContext。从 Spark 3.1 开始，在执行器中创建 SparkContext 时将抛出异常。可以在执行器中创建 SparkContext 时，通过设置配置 spark.executor.allowSparkContext 来允许它。

• 在 Spark 3.0 及更低版本中，Spark 将 Hadoop 类路径从 yarn.application.classpath 和 mapreduce.application.classpath 传播到提交到 YARN 的 Spark 应用程序中，前提是 Spark 发行版包含内置的 Hadoop。从 Spark 3.1 开始，当 Spark 发行版包含内置的 Hadoop 时，它不再传播，以防止从 Hadoop 集群中获取的不同传递依赖项（如 Guava 和 Jackson）导致失败。要恢复 Spark 3.1 之前的行为，可以将 spark.yarn.populateHadoopClasspath 设置为 true。

从 Core 2.4 升级到 3.0

• org.apache.spark.ExecutorPlugin 接口和相关配置已被 org.apache.spark.api.plugin.SparkPlugin 替换，后者添加了新功能。使用旧接口的插件必须修改为扩展新接口。有关更多详细信息，请查看 监控 指南。

• 已弃用的方法 TaskContext.isRunningLocally 已删除。本地执行已删除，它始终返回 false。

• 已弃用的方法 shuffleBytesWritten、shuffleWriteTime 和 shuffleRecordsWritten 在 ShuffleWriteMetrics 中已删除。请改用 bytesWritten、writeTime 和 recordsWritten。

• 已弃用的方法 AccumulableInfo.apply 已删除，因为不允许创建 AccumulableInfo。

• 已弃用的累加器 v1 API 已删除，请改用 v2 API。

• 事件日志文件将以 UTF-8 编码写入，Spark History Server 将以 UTF-8 编码重放事件日志文件。以前 Spark 以驱动程序 JVM 进程的默认字符集写入事件日志文件，因此 Spark 2.x 的 Spark History Server 需要读取旧的事件日志文件，以防编码不兼容。

• 使用了一种新的协议来获取 shuffle 块。建议在运行 Spark 3.0 应用程序时升级外部 shuffle 服务。可以通过将配置 spark.shuffle.useOldFetchProtocol 设置为 true 来继续使用旧的外部 shuffle 服务。否则，Spark 可能会遇到错误，并显示类似 IllegalArgumentException: Unexpected message type: <number> 的消息。

• SPARK_WORKER_INSTANCES 在 Standalone 模式下已弃用。建议在一个工作程序中启动多个执行器，并在每个节点上启动一个工作程序，而不是在每个节点上启动多个工作程序，并在每个工作程序中启动一个执行器。