迁移指南：Spark Core

• 从 Core 3.5.3 升级到 3.5.4
• 从 Core 3.4 升级到 3.5
• 从 Core 3.3 升级到 3.4
• 从 Core 3.2 升级到 3.3
• 从 Core 3.1 升级到 3.2
• 从 Core 3.0 升级到 3.1
• 从 Core 2.4 升级到 3.0

从 Core 3.5.3 升级到 3.5.4

• 从 Spark 3.5.4 开始，当读取文件遇到 org.apache.hadoop.security.AccessControlException 和 org.apache.hadoop.hdfs.BlockMissingException 时，即使 spark.files.ignoreCorruptFiles 设置为 true，也会抛出异常并导致任务失败。

从 Core 3.4 升级到 3.5

• 从 Spark 3.5 开始，spark.yarn.executor.failuresValidityInterval 已弃用。请改用 spark.executor.failuresValidityInterval。

• 从 Spark 3.5 开始，spark.yarn.max.executor.failures 已弃用。请改用 spark.executor.maxNumFailures。

从 Core 3.3 升级到 3.4

• 从 Spark 3.4 开始，Spark 驱动程序将拥有 PersistentVolumnClaim 并尝试重用它们（如果它们未分配给活动的 executors）。 要恢复到 Spark 3.4 之前的行为，您可以将 spark.kubernetes.driver.ownPersistentVolumeClaim 设置为 false，并将 spark.kubernetes.driver.reusePersistentVolumeClaim 设置为 false。

• 从 Spark 3.4 开始，当启用动态分配且没有 shuffle service 时，Spark 驱动程序将跟踪 shuffle 数据。 要恢复到 Spark 3.4 之前的行为，您可以将 spark.dynamicAllocation.shuffleTracking.enabled 设置为 false。

• 从 Spark 3.4 开始，如果 spark.decommission.enabled 和 spark.storage.decommission.enabled 都为 true，Spark 将尝试停用缓存的 RDD 和 shuffle 块。 要恢复到 Spark 3.4 之前的行为，您可以将 spark.storage.decommission.rddBlocks.enabled 和 spark.storage.decommission.shuffleBlocks.enabled 都设置为 false。

• 从 Spark 3.4 开始，如果 spark.history.store.hybridStore.enabled 为 true，Spark 将使用 RocksDB 存储。 要恢复到 Spark 3.4 之前的行为，您可以将 spark.history.store.hybridStore.diskBackend 设置为 LEVELDB。

从 Core 3.2 升级到 3.3

• 从 Spark 3.3 开始，Spark 将其 log4j 依赖项从 1.x 迁移到 2.x，因为 log4j 1.x 已达到生命周期结束，且不再受社区支持。 2015 年 8 月之后报告的针对 log4j 1.x 的漏洞未经过检查，也不会修复。 用户应该使用 log4j2 语法（XML、JSON、YAML 或 properties 格式）重写原始 log4j 属性文件。 Spark 重写了 Spark 发行版中包含的 conf/log4j.properties.template，将其替换为使用 log4j2 属性格式的 conf/log4j2.properties.template。

从 Core 3.1 升级到 3.2

• 从 Spark 3.2 开始，spark.scheduler.allocation.file 支持使用 hadoop 文件系统读取远程文件，这意味着如果路径没有方案，Spark 将遵循 hadoop 配置来读取它。 要恢复到 Spark 3.2 之前的行为，您可以为 spark.scheduler.allocation.file 指定本地方案，例如 file:///path/to/file。

• 从 Spark 3.2 开始，默认情况下 spark.hadoopRDD.ignoreEmptySplits 设置为 true，这意味着 Spark 不会为空输入分区分区创建空分区。 要恢复到 Spark 3.2 之前的行为，您可以将 spark.hadoopRDD.ignoreEmptySplits 设置为 false。

• 从 Spark 3.2 开始，默认情况下 spark.eventLog.compression.codec 设置为 zstd，这意味着 Spark 不再回退到使用 spark.io.compression.codec。

• 从 Spark 3.2 开始，默认情况下启用 spark.storage.replication.proactive，这意味着 Spark 会尝试在由于 executor 故障导致缓存的 RDD 块副本丢失时进行补充。 要恢复到 Spark 3.2 之前的行为，您可以将 spark.storage.replication.proactive 设置为 false。

• 在 Spark 3.2 中，spark.launcher.childConectionTimeout 已弃用（拼写错误），但仍然有效。 请改用 spark.launcher.childConnectionTimeout。

• 在 Spark 3.2 中，对 Apache Mesos 作为资源管理器的支持已弃用，将在未来的版本中删除。

• 在 Spark 3.2 中，当应用程序自行终止时，Spark 将删除 K8s 驱动程序服务资源。 要恢复到 Spark 3.2 之前的行为，您可以将 spark.kubernetes.driver.service.deleteOnTermination 设置为 false。

从 Core 3.0 升级到 3.1

• 在 Spark 3.0 及更低版本中，可以在 executors 中创建 SparkContext。 从 Spark 3.1 开始，在 executors 中创建 SparkContext 时将抛出异常。 您可以通过在 executors 中创建 SparkContext 时设置配置 spark.executor.allowSparkContext 来允许它。

• 在 Spark 3.0 及更低版本中，当 Spark 发行版包含内置 Hadoop 时，Spark 会将 Hadoop 类路径从 yarn.application.classpath 和 mapreduce.application.classpath 传播到提交给 YARN 的 Spark 应用程序。 从 Spark 3.1 开始，当 Spark 发行版包含内置 Hadoop 时，不再进行传播，以防止从 Hadoop 集群中拾取的不同传递依赖项（例如 Guava 和 Jackson）导致失败。 要恢复到 Spark 3.1 之前的行为，您可以将 spark.yarn.populateHadoopClasspath 设置为 true。

从 Core 2.4 升级到 3.0

• org.apache.spark.ExecutorPlugin 接口和相关配置已被 org.apache.spark.api.plugin.SparkPlugin 替换，后者添加了新功能。 使用旧接口的插件必须修改为扩展新接口。 有关更多详细信息，请查看监控指南。

• 已删除已弃用的方法 TaskContext.isRunningLocally。 本地执行已删除，并且始终返回 false。

• 已删除 ShuffleWriteMetrics 中已弃用的方法 shuffleBytesWritten、shuffleWriteTime 和 shuffleRecordsWritten。 请分别使用 bytesWritten、writeTime 和 recordsWritten。

• 已删除已弃用的方法 AccumulableInfo.apply，因为不允许创建 AccumulableInfo。

• 已删除已弃用的累加器 v1 API，请改用 v2 API。

• 事件日志文件将以 UTF-8 编码写入，Spark History Server 将以 UTF-8 编码重放事件日志文件。 以前，Spark 将事件日志文件写入为驱动程序 JVM 进程的默认字符集，因此在编码不兼容的情况下，需要 Spark 2.x 的 Spark History Server 才能读取旧的事件日志文件。

• 使用用于获取 shuffle 块的新协议。 建议在运行 Spark 3.0 应用程序时升级外部 shuffle 服务。 您仍然可以通过将配置 spark.shuffle.useOldFetchProtocol 设置为 true 来使用旧的外部 shuffle 服务。 否则，Spark 可能会遇到错误，并显示诸如 IllegalArgumentException: Unexpected message type: <number> 之类的消息。

• SPARK_WORKER_INSTANCES 在 Standalone 模式下已弃用。 建议在一个 worker 中启动多个 executors，并在每个节点上启动一个 worker，而不是在每个节点上启动多个 workers，并在每个 worker 上启动一个 executor。