在 YARN 上运行 Spark

• 安全性
• 在 YARN 上启动 Spark
  • 添加其他 JAR
• 准备工作
• 配置
• 调试你的应用程序
  • Spark 属性
  • SHS 自定义执行器日志 URL 可用模式
• 资源分配和配置概览
• 阶段级调度概览
• 重要说明
• Kerberos
  • YARN 特定的 Kerberos 配置
  • Kerberos 故障排除
• 配置外部 Shuffle 服务
• 使用 Apache Oozie 启动应用程序
• 使用 Spark 历史服务器替代 Spark Web UI
• 运行多个版本的 Spark Shuffle 服务
• 为 Spark 应用程序配置不同的 JDK

Spark 在 0.6.0 版本中增加了对在 YARN (Hadoop NextGen) 上运行的支持，并在后续版本中进行了改进。

安全性

认证等安全功能默认不启用。在部署面向互联网或不可信网络的集群时，务必保护集群访问以防止未经授权的应用程序在集群上运行。在运行 Spark 之前，请参阅 Spark 安全性 以及本文档中的特定安全章节。

在 YARN 上启动 Spark

截至 3.4.1 版本，Apache Hadoop 不支持 Java 17，而 Apache Spark 从 4.0.0 版本开始要求至少 Java 17，因此应为 Spark 应用程序配置不同的 JDK。详情请参阅 为 Spark 应用程序配置不同的 JDK。

确保 HADOOP_CONF_DIR 或 YARN_CONF_DIR 指向包含 Hadoop 集群（客户端）配置文件的目录。这些配置用于写入 HDFS 并连接到 YARN ResourceManager。此目录中包含的配置将被分发到 YARN 集群，以便应用程序使用的所有容器都使用相同的配置。如果配置引用了 YARN 不管理的 Java 系统属性或环境变量，则也应在 Spark 应用程序的配置中（驱动程序、执行器以及在客户端模式下运行时 AM）进行设置。

有两种部署模式可用于在 YARN 上启动 Spark 应用程序。在 cluster 模式下，Spark 驱动程序在由 YARN 在集群上管理的应用程序主进程中运行，并且客户端在启动应用程序后可以退出。在 client 模式下，驱动程序在客户端进程中运行，而应用程序主进程仅用于从 YARN 请求资源。

与 Spark 支持的其他集群管理器（其中主节点地址在 --master 参数中指定）不同，在 YARN 模式下，ResourceManager 的地址是从 Hadoop 配置中获取的。因此，--master 参数是 yarn。

在 cluster 模式下启动 Spark 应用程序

$ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options]

例如

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    examples/jars/spark-examples*.jar \
    10

上述命令启动了一个 YARN 客户端程序，该程序会启动默认的 Application Master。然后 SparkPi 将作为 Application Master 的子线程运行。客户端会定期轮询 Application Master 以获取状态更新，并在控制台中显示。应用程序运行结束后，客户端将退出。有关如何查看驱动程序和执行器日志，请参阅下面的调试应用程序部分。

要在 client 模式下启动 Spark 应用程序，操作与上述相同，但将 cluster 替换为 client。以下展示了如何在 client 模式下运行 spark-shell

$ ./bin/spark-shell --master yarn --deploy-mode client

添加其他 JAR

在 cluster 模式下，驱动程序运行在与客户端不同的机器上，因此 SparkContext.addJar 无法直接使用客户端本地文件。要使客户端上的文件可供 SparkContext.addJar 使用，请在启动命令中通过 --jars 选项包含它们。

$ ./bin/spark-submit --class my.main.Class \
    --master yarn \
    --deploy-mode cluster \
    --jars my-other-jar.jar,my-other-other-jar.jar \
    my-main-jar.jar \
    app_arg1 app_arg2

准备工作

在 YARN 上运行 Spark 需要一个内置 YARN 支持的 Spark 二进制发行版。二进制发行版可以从项目网站的下载页面获取。你可以下载两种 Spark 二进制发行版。一种是预构建了特定版本的 Apache Hadoop；这个 Spark 发行版包含内置的 Hadoop 运行时，因此我们称之为 with-hadoop Spark 发行版。另一种是预构建了用户提供的 Hadoop；由于这个 Spark 发行版不包含内置的 Hadoop 运行时，所以它更小，但用户必须单独提供 Hadoop 安装。我们称之为 no-hadoop Spark 发行版。对于 with-hadoop Spark 发行版，因为它已经包含内置的 Hadoop 运行时，默认情况下，当作业提交到 Hadoop YARN 集群时，为防止 JAR 冲突，它不会将 YARN 的类路径填充到 Spark 中。要覆盖此行为，你可以设置 spark.yarn.populateHadoopClasspath=true。对于 no-hadoop Spark 发行版，Spark 默认会填充 YARN 的类路径以获取 Hadoop 运行时。对于 with-hadoop Spark 发行版，如果你的应用程序依赖于集群中才有的特定库，你可以尝试通过设置上述属性来填充 YARN 类路径。如果这样做导致 JAR 冲突问题，你需要将其关闭并将此库包含在你的应用程序 JAR 中。

要自行构建 Spark，请参阅构建 Spark。

为了让 YARN 能够访问 Spark 运行时 JAR 包，你可以指定 spark.yarn.archive 或 spark.yarn.jars。详情请参阅 Spark 属性。如果既未指定 spark.yarn.archive 也未指定 spark.yarn.jars，Spark 将创建一个包含 $SPARK_HOME/jars 下所有 JAR 包的 zip 文件并将其上传到分布式缓存。

配置

Spark on YARN 的大多数配置与其他部署模式相同。有关这些配置的更多信息，请参阅配置页面。以下是 YARN 上 Spark 特有的配置。

调试你的应用程序

在 YARN 术语中，执行器和应用程序主进程在“容器”内运行。YARN 有两种模式来处理应用程序完成后的容器日志。如果启用了日志聚合（通过 yarn.log-aggregation-enable 配置），容器日志将被复制到 HDFS 并从本地机器删除。这些日志可以通过 yarn logs 命令从集群的任何位置查看。

yarn logs -applicationId <app ID>

将打印出给定应用程序中所有容器的所有日志文件的内容。你也可以使用 HDFS shell 或 API 直接在 HDFS 中查看容器日志文件。可以通过查看 YARN 配置（yarn.nodemanager.remote-app-log-dir 和 yarn.nodemanager.remote-app-log-dir-suffix）找到日志所在的目录。日志也可以在 Spark Web UI 的“执行器”选项卡下查看。你需要同时运行 Spark 历史服务器和 MapReduce 历史服务器，并正确配置 yarn-site.xml 中的 yarn.log.server.url。Spark 历史服务器 UI 上的日志 URL 会将你重定向到 MapReduce 历史服务器以显示聚合日志。

当未启用日志聚合时，日志会保留在每台机器的 YARN_APP_LOGS_DIR 下，该目录通常根据 Hadoop 版本和安装配置为 /tmp/logs 或 $HADOOP_HOME/logs/userlogs。查看容器日志需要访问包含日志的主机并在该目录中查找。子目录按应用程序 ID 和容器 ID 组织日志文件。日志也可以在 Spark Web UI 的“执行器”选项卡下查看，且无需运行 MapReduce 历史服务器。

要检查每个容器的启动环境，请将 yarn.nodemanager.delete.debug-delay-sec 增加到一个较大的值（例如 36000），然后通过在启动容器的节点上访问 yarn.nodemanager.local-dirs 来访问应用程序缓存。此目录包含启动脚本、JAR 包以及用于启动每个容器的所有环境变量。此过程对于调试类路径问题特别有用。（请注意，启用此功能需要集群设置的管理员权限并重启所有节点管理器。因此，这不适用于托管集群）。

要为应用程序主进程或执行器使用自定义的 log4j2 配置，以下是可用选项

• 使用 spark-submit 上传自定义的 log4j2.properties 文件，通过将其添加到与应用程序一起上传的 --files 文件列表中。
• 将 -Dlog4j.configurationFile=<configuration file location> 添加到 spark.driver.extraJavaOptions（用于驱动程序）或 spark.executor.extraJavaOptions（用于执行器）。请注意，如果使用文件，应明确提供 file: 协议，并且文件需要在所有节点上本地存在。
• 更新 $SPARK_CONF_DIR/log4j2.properties 文件，它将与其他配置一起自动上传。请注意，如果指定了多个选项，则其他 2 个选项的优先级高于此选项。

请注意，对于第一个选项，执行器和应用程序主进程将共享相同的 log4j 配置，这可能导致它们在同一节点上运行时出现问题（例如，尝试写入同一个日志文件）。

如果你需要将日志文件放置在 YARN 中以便 YARN 能够正确显示和聚合它们，请在 log4j2.properties 中使用 spark.yarn.app.container.log.dir。例如，appender.file_appender.fileName=${sys:spark.yarn.app.container.log.dir}/spark.log。对于流式应用程序，配置 RollingFileAppender 并将文件位置设置为 YARN 的日志目录将避免由大型日志文件引起的磁盘溢出，并且可以使用 YARN 的日志工具访问日志。

要为应用程序主进程和执行器使用自定义的 metrics.properties 文件，请更新 $SPARK_CONF_DIR/metrics.properties 文件。它将自动与其他配置一起上传，因此你无需使用 --files 手动指定。

Spark 属性

SHS 自定义执行器日志 URL 可用模式

例如，假设你想直接将日志 URL 链接指向作业历史服务器，而不是让 NodeManager http 服务器重定向，你可以按如下方式配置 spark.history.custom.executor.log.url

{{HTTP_SCHEME}}<JHS_HOST>:<JHS_PORT>/jobhistory/logs/{{NM_HOST}}:{{NM_PORT}}/{{CONTAINER_ID}}/{{CONTAINER_ID}}/{{USER}}/{{FILE_NAME}}?start=-4096

注意：你需要将 <JHS_HOST> 和 <JHS_PORT> 替换为实际值。

资源分配和配置概览

请务必阅读配置页面上的“自定义资源调度和配置概览”部分。本节仅讨论资源调度的 YARN 特定方面。

YARN 需要配置以支持用户希望与 Spark 一起使用的任何资源。YARN 上的资源调度是在 YARN 3.1.0 中添加的。有关配置资源和正确设置隔离的更多信息，请参阅 YARN 文档。理想情况下，资源应设置为隔离状态，以便执行器只能看到分配给它的资源。如果未启用隔离，用户负责创建一个发现脚本，确保资源不在执行器之间共享。

YARN 支持用户定义的资源类型，但内置了 GPU (yarn.io/gpu) 和 FPGA (yarn.io/fpga) 类型。因此，如果你使用这些资源中的任何一种，Spark 可以将你对 Spark 资源的请求转换为 YARN 资源，你只需指定 spark.{driver/executor}.resource. 配置。请注意，如果你将自定义资源类型用于 YARN 上的 GPU 或 FPGA，可以使用 spark.yarn.resourceGpuDeviceName 和 spark.yarn.resourceFpgaDeviceName 更改 Spark 映射。如果你使用的资源不是 FPGA 或 GPU，则用户负责同时指定 YARN (spark.yarn.{driver/executor}.resource.) 和 Spark (spark.{driver/executor}.resource.) 的配置。

例如，用户希望为每个执行器请求 2 个 GPU。用户只需指定 spark.executor.resource.gpu.amount=2，Spark 将处理向 YARN 请求 yarn.io/gpu 资源类型。

如果用户有一个用户定义的 YARN 资源，我们称之为 acceleratorX，那么用户必须指定 spark.yarn.executor.resource.acceleratorX.amount=2 和 spark.executor.resource.acceleratorX.amount=2。

YARN 不会告诉 Spark 分配给每个容器的资源地址。因此，用户必须指定一个发现脚本，该脚本在执行器启动时运行，以发现该执行器可用的资源。你可以在 examples/src/main/scripts/getGpusResources.sh 中找到示例脚本。该脚本必须设置执行权限，并且用户应设置权限以防止恶意用户修改它。该脚本应将 ResourceInformation 类的格式的 JSON 字符串写入 STDOUT。这包含资源名称以及仅该执行器可用的资源地址数组。

阶段级调度概览

YARN 支持阶段级调度

• 当动态分配禁用时：它允许用户在阶段级别指定不同的任务资源需求，并将使用启动时请求的相同执行器。
• 当动态分配启用时：它允许用户在阶段级别指定任务和执行器资源需求，并将请求额外的执行器。

YARN 特有的一个注意事项是，每个 ResourceProfile 在 YARN 上都需要不同的容器优先级。映射很简单，ResourceProfile ID 变为优先级，在 YARN 中，数字越小优先级越高。这意味着更早创建的配置文件在 YARN 中将具有更高的优先级。通常这无关紧要，因为 Spark 在开始下一个阶段之前会完成一个阶段，唯一可能产生影响的情况是在作业服务器类型场景中，所以这一点需要牢记。请注意，在基本默认配置文件和自定义 ResourceProfiles 之间，自定义资源的处理方式存在差异。为了允许用户请求具有额外资源的 YARN 容器，而 Spark 不在其上进行调度，用户可以通过 spark.yarn.executor.resource. 配置指定资源。但是，这些配置仅在基本默认配置文件中使用，并且不会传播到任何其他自定义 ResourceProfiles。这是因为如果你希望某个阶段不包含这些资源，则无法将其删除。这导致你的默认配置文件获得在 spark.yarn.executor.resource. 中定义的自定义资源，以及 Spark 定义的 GPU 或 FPGA 资源。Spark 将 GPU 和 FPGA 资源转换为 YARN 内置类型 yarn.io/gpu 和 yarn.io/fpga，但不知道任何其他资源的映射。任何其他 Spark 自定义资源都不会传播到 YARN 以用于默认配置文件。因此，如果你希望 Spark 根据自定义资源进行调度并从 YARN 请求它，你必须在 YARN (spark.yarn.{driver/executor}.resource.) 和 Spark (spark.{driver/executor}.resource.) 配置中都指定它。如果你只想要具有额外资源的 YARN 容器但 Spark 不使用它们进行调度，则请关闭 Spark 配置。现在对于自定义 ResourceProfiles，目前无法仅指定 YARN 资源而不让 Spark 在其上进行调度。这意味着对于自定义 ResourceProfiles，我们将 ResourceProfile 中定义的所有资源传播到 YARN。我们仍然将 GPU 和 FPGA 转换为 YARN 内置类型。这要求你指定的任何自定义资源的名称与它们在 YARN 中定义的名称相匹配。

重要说明

• 核心请求在调度决策中是否被遵守取决于所使用的调度程序及其配置方式。
• 在 cluster 模式下，Spark 执行器和 Spark 驱动程序使用的本地目录将是为 YARN 配置的本地目录（Hadoop YARN 配置 yarn.nodemanager.local-dirs）。如果用户指定 spark.local.dir，它将被忽略。在 client 模式下，Spark 执行器将使用为 YARN 配置的本地目录，而 Spark 驱动程序将使用在 spark.local.dir 中定义的目录。这是因为在 client 模式下，Spark 驱动程序不在 YARN 集群上运行，只有 Spark 执行器在运行。
• --files 和 --archives 选项支持使用 # 符号指定文件名，类似于 Hadoop。例如，您可以指定：--files localtest.txt#appSees.txt ，这将把您本地名为 localtest.txt 的文件上传到 HDFS，但该文件将通过名称 appSees.txt 进行链接，您的应用程序在 YARN 上运行时应使用名称 appSees.txt 来引用它。
• 如果将 SparkContext.addJar 函数与本地文件一起使用并在 cluster 模式下运行，--jars 选项允许其正常工作。如果你使用 HDFS、HTTP、HTTPS 或 FTP 文件，则无需使用此选项。

Kerberos

Spark 中标准的 Kerberos 支持在安全性页面中介绍。

在 YARN 模式下，访问 Hadoop 文件系统时，除了 Hadoop 配置中的默认文件系统外，Spark 还会自动获取托管 Spark 应用程序暂存目录的服务所需的委托令牌。

YARN 特定的 Kerberos 配置

Kerberos 故障排除

调试 Hadoop/Kerberos 问题可能“很困难”。一个有用的技巧是通过设置 HADOOP_JAAS_DEBUG 环境变量来在 Hadoop 中启用 Kerberos 操作的额外日志记录。

export HADOOP_JAAS_DEBUG=true

JDK 类可以通过系统属性 sun.security.krb5.debug 和 sun.security.spnego.debug=true 配置，以启用对其 Kerberos 和 SPNEGO/REST 认证的额外日志记录。

-Dsun.security.krb5.debug=true -Dsun.security.spnego.debug=true

所有这些选项都可以在 Application Master 中启用

spark.yarn.appMasterEnv.HADOOP_JAAS_DEBUG true
spark.yarn.am.extraJavaOptions -Dsun.security.krb5.debug=true -Dsun.security.spnego.debug=true

最后，如果将 org.apache.spark.deploy.yarn.Client 的日志级别设置为 DEBUG，日志将包含所有获得的令牌列表及其过期详细信息。

配置外部 Shuffle 服务

要在 YARN 集群中的每个 NodeManager 上启动 Spark Shuffle 服务，请按照以下说明操作

1. 使用 YARN profile 构建 Spark。如果你使用的是预打包发行版，请跳过此步骤。
2. 定位 spark-<version>-yarn-shuffle.jar。如果你正在自行构建 Spark，它应该在 $SPARK_HOME/common/network-yarn/target/scala-<version> 下；如果你使用的是发行版，它应该在 yarn 下。
3. 将此 JAR 添加到集群中所有 NodeManager 的类路径中。
4. 在每个节点的 yarn-site.xml 中，将 spark_shuffle 添加到 yarn.nodemanager.aux-services，然后将 yarn.nodemanager.aux-services.spark_shuffle.class 设置为 org.apache.spark.network.yarn.YarnShuffleService。
5. 通过在 etc/hadoop/yarn-env.sh 中设置 YARN_HEAPSIZE（默认 1000）来增加 NodeManager 的堆大小，以避免在 shuffle 期间出现垃圾回收问题。
6. 重启集群中所有 NodeManager。

当 shuffle 服务在 YARN 上运行时，以下额外的配置选项可用

请注意，上述说明假设使用了默认的 shuffle 服务名称 spark_shuffle。这里可以使用任何名称，但 YARN NodeManager 配置中使用的值必须与 Spark 应用程序中 spark.shuffle.service.name 的值匹配。

shuffle 服务默认会从 NodeManager 使用的 Hadoop 配置（例如 yarn-site.xml）中获取所有配置。但是，也可以使用名为 spark-shuffle-site.xml 的文件独立配置 shuffle 服务，该文件应放置在 shuffle 服务的类路径中（默认情况下，与 NodeManager 的类路径共享）。shuffle 服务会将其视为标准 Hadoop 配置资源，并将其覆盖在 NodeManager 的配置之上。

使用 Apache Oozie 启动应用程序

Apache Oozie 可以作为工作流的一部分启动 Spark 应用程序。在安全集群中，启动的应用程序将需要相关的令牌才能访问集群的服务。如果 Spark 是使用 keytab 启动的，则这是自动的。但是，如果 Spark 不带 keytab 启动，则设置安全性的责任必须移交给 Oozie。

有关为安全集群配置 Oozie 和获取作业凭据的详细信息，请参见 Oozie 网站上特定版本文档的“Authentication”部分。

对于 Spark 应用程序，Oozie 工作流必须设置为让 Oozie 请求应用程序所需的所有令牌，包括

• YARN 资源管理器。
• 本地 Hadoop 文件系统。
• 任何用作 I/O 源或目标的远程 Hadoop 文件系统。
• Hive — 如果使用。
• HBase — 如果使用。
• YARN 时间线服务器，如果应用程序与此交互。

为避免 Spark 尝试（然后失败）获取 Hive、HBase 和远程 HDFS 令牌，必须设置 Spark 配置以禁用这些服务的令牌收集。

Spark 配置必须包含以下行

spark.security.credentials.hive.enabled   false
spark.security.credentials.hbase.enabled  false

配置选项 spark.kerberos.access.hadoopFileSystems 必须未设置。

使用 Spark 历史服务器替代 Spark Web UI

当应用程序 UI 被禁用时，可以将 Spark 历史服务器应用程序页面用作正在运行应用程序的跟踪 URL。这在安全集群上可能很受欢迎，或者为了减少 Spark 驱动程序的内存使用。要通过 Spark 历史服务器设置跟踪，请执行以下操作

• 在应用程序端，在 Spark 的配置中设置 spark.yarn.historyServer.allowTracking=true。如果应用程序的 UI 被禁用，这将告诉 Spark 使用历史服务器的 URL 作为跟踪 URL。
• 在 Spark 历史服务器上，将 org.apache.spark.deploy.yarn.YarnProxyRedirectFilter 添加到 spark.ui.filters 配置中的过滤器列表。

请注意，历史服务器信息可能与应用程序的实际状态不同步。

运行多个版本的 Spark Shuffle 服务

请注意，本节仅适用于在 YARN 2.9.0 及更高版本上运行的情况。

在某些情况下，可能需要运行使用不同 Spark 版本的 Spark Shuffle 服务的多个实例。这在例如运行混合了多个 Spark 版本应用程序的 YARN 集群时会很有用，因为给定版本的 shuffle 服务并非总是与其他 Spark 版本兼容。YARN 2.9.0 及更高版本支持在隔离的类加载器中运行 shuffle 服务（参见 YARN-4577），这意味着多个 Spark 版本可以在单个 NodeManager 中共存。从 YARN 2.10.2/3.1.1/3.2.0 开始，可以使用 yarn.nodemanager.aux-services.<service-name>.classpath 和 yarn.nodemanager.aux-services.<service-name>.remote-classpath 选项来配置此功能。请注意，YARN 3.3.0/3.3.1 存在一个问题，需要将 yarn.nodemanager.aux-services.<service-name>.system-classes 设置为变通方案。有关详细信息，请参见 YARN-11053。除了设置单独的类路径外，还需要确保两个版本通告到不同的端口。这可以通过上述 spark-shuffle-site.xml 文件实现。例如，你可能有如下配置

  yarn.nodemanager.aux-services = spark_shuffle_x,spark_shuffle_y
  yarn.nodemanager.aux-services.spark_shuffle_x.classpath = /path/to/spark-x-path/fat.jar:/path/to/spark-x-config
  yarn.nodemanager.aux-services.spark_shuffle_y.classpath = /path/to/spark-y-path/fat.jar:/path/to/spark-y-config

或

  yarn.nodemanager.aux-services = spark_shuffle_x,spark_shuffle_y
  yarn.nodemanager.aux-services.spark_shuffle_x.classpath = /path/to/spark-x-path/*:/path/to/spark-x-config
  yarn.nodemanager.aux-services.spark_shuffle_y.classpath = /path/to/spark-y-path/*:/path/to/spark-y-config

两个 spark-*-config 目录各自包含一个文件 spark-shuffle-site.xml。这些是 Hadoop 配置格式的 XML 文件，每个文件都包含一些用于调整端口号和指标名称前缀的配置。

<configuration>
  <property>
    <name>spark.shuffle.service.port</name>
    <value>7001</value>
  </property>
  <property>
    <name>spark.yarn.shuffle.service.metrics.namespace</name>
    <value>sparkShuffleServiceX</value>
  </property>
</configuration>

这两个不同服务的值都应该不同。

然后，在 Spark 应用程序的配置中，其中一个应配置为

  spark.shuffle.service.name = spark_shuffle_x
  spark.shuffle.service.port = 7001

另一个应配置为

  spark.shuffle.service.name = spark_shuffle_y
  spark.shuffle.service.port = <other value>

为 Spark 应用程序配置不同的 JDK

在某些情况下，可能需要使用与 YARN 节点管理器不同的 JDK 来运行 Spark 应用程序，这可以通过为 YARN 容器和 spark-submit 进程设置 JAVA_HOME 环境变量来实现。

请注意，Spark 假定一个应用程序中运行的所有 JVM 进程都使用相同版本的 JDK，否则，你可能会遇到 JDK 序列化问题。

要配置 Spark 应用程序使用已预安装在所有节点 /opt/openjdk-17 处的 JDK

$ export JAVA_HOME=/opt/openjdk-17
$ ./bin/spark-submit --class path.to.your.Class \
    --master yarn \
    --conf spark.yarn.appMasterEnv.JAVA_HOME=/opt/openjdk-17 \
    --conf spark.executorEnv.JAVA_HOME=/opt/openjdk-17 \
    <app jar> [app options]

（可选）用户可能希望避免在 YARN 集群节点上安装不同的 JDK，在这种情况下，也可以使用 YARN 的分布式缓存分发 JDK。例如，要使用 Java 21 运行 Spark 应用程序，请准备一个 JDK 21 tarball openjdk-21.tar.gz 并将其解压到本地节点上的 /opt，然后提交 Spark 应用程序。

$ export JAVA_HOME=/opt/openjdk-21
$ ./bin/spark-submit --class path.to.your.Class \
    --master yarn \
    --archives path/to/openjdk-21.tar.gz \
    --conf spark.yarn.appMasterEnv.JAVA_HOME=./openjdk-21.tar.gz/openjdk-21 \
    --conf spark.executorEnv.JAVA_HOME=./openjdk-21.tar.gz/openjdk-21 \
    <app jar> [app options]