监控和仪器

• Web 界面
  • 事后查看
    • 环境变量
    • 对滚动事件日志文件应用压缩
    • Spark History Server 配置选项
  • REST API
    • Executor 任务指标
    • Executor 指标
    • API 版本策略
• 指标
  • 可用指标提供者列表
    • 组件实例 = Driver
    • 组件实例 = Executor
    • 源 = JVM 源
    • 组件实例 = ApplicationMaster
    • 组件实例 = master
    • 组件实例 = ApplicationSource
    • 组件实例 = worker
    • 组件实例 = ShuffleService
• 高级仪器

有多种方法可以监控 Spark 应用程序：Web UI、指标和外部仪器。

Web 界面

每个 SparkContext 都会启动一个 Web UI（默认为端口 4040），它显示有关应用程序的有用信息。这包括

• 调度器阶段和任务列表
• RDD 大小和内存使用情况的摘要
• 环境信息。
• 有关正在运行的 Executor 的信息

您只需在 Web 浏览器中打开 http://<driver-node>:4040 即可访问此界面。如果多个 SparkContext 在同一主机上运行，它们将绑定到从 4040 开始的连续端口（4041、4042 等）。

请注意，此信息默认情况下仅在应用程序运行期间可用。要在事后查看 Web UI，请在启动应用程序之前将 spark.eventLog.enabled 设置为 true。这将配置 Spark 将 UI 中显示的信息编码为 Spark 事件并记录到持久化存储中。

事后查看

如果应用程序的事件日志存在，仍然可以通过 Spark 的历史服务器构建应用程序的 UI。您可以通过执行以下命令启动历史服务器：

./sbin/start-history-server.sh

这会默认在 http://<server-url>:18080 创建一个 Web 界面，列出未完成和已完成的应用程序及尝试。

当使用文件系统提供者类（参见下文的 spark.history.provider）时，必须在 spark.history.fs.logDirectory 配置选项中提供基础日志目录，并且该目录应包含每个代表一个应用程序事件日志的子目录。

Spark 作业本身必须配置为记录事件，并将其记录到相同的共享可写目录。例如，如果服务器配置的日志目录是 hdfs://namenode/shared/spark-logs，则客户端选项将是

spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs

历史服务器可以配置如下：

环境变量

对滚动事件日志文件应用压缩

一个长时间运行的应用程序（例如流处理）可能会产生一个巨大的单个事件日志文件，这可能需要大量的维护成本，并且每次 Spark History Server 更新时也需要大量资源进行重放。

启用 spark.eventLog.rolling.enabled 和 spark.eventLog.rolling.maxFileSize 将允许您拥有滚动事件日志文件，而不是单个巨大的事件日志文件，这本身可能在某些场景下有所帮助，但它仍然无法帮助您减少日志的整体大小。

Spark History Server 可以通过在 Spark History Server 上设置配置 spark.history.fs.eventLog.rolling.maxFilesToRetain，对滚动事件日志文件应用压缩以减小日志的整体大小。

详细信息将在下文描述，但请提前注意，压缩是**有损操作**。压缩会丢弃一些在 UI 上不再可见的事件——您可能需要在启用此选项之前检查哪些事件将被丢弃。

当发生压缩时，历史服务器会列出应用程序所有可用的事件日志文件，并考虑索引小于将要保留的最小索引文件的事件日志文件作为压缩目标。例如，如果应用程序 A 有 5 个事件日志文件，并且 spark.history.fs.eventLog.rolling.maxFilesToRetain 设置为 2，那么前 3 个日志文件将被选中进行压缩。

一旦选择目标，它会分析这些文件以找出哪些事件可以被排除，然后将它们重写为一个紧凑的文件，同时丢弃那些决定排除的事件。

压缩会尝试排除指向过期数据的事件。截至目前，下面描述了要排除的事件候选者：

• 已完成作业的事件，以及相关的阶段/任务事件
• 已终止 Executor 的事件
• 已完成 SQL 执行的事件，以及相关的作业/阶段/任务事件

重写完成后，原始日志文件将被尽力删除。历史服务器可能无法删除原始日志文件，但这不会影响历史服务器的运行。

请注意，如果 Spark History Server 发现压缩期间不会减少太多空间，它可能不会压缩旧的事件日志文件。对于流式查询，我们通常期望压缩会运行，因为每个微批次都会触发一个或多个很快完成的作业，但在许多情况下，批处理查询的压缩不会运行。

另请注意，这是 Spark 3.0 中引入的新功能，可能尚未完全稳定。在某些情况下，压缩可能会排除超出您预期的事件，导致应用程序在历史服务器 UI 上出现一些问题。请谨慎使用。

Spark History Server 配置选项

Spark History Server 的安全选项在安全页面中有更详细的介绍。

请注意，在所有这些 UI 中，表格都可以通过单击其标题进行排序，从而轻松识别慢任务、数据倾斜等。

注意

1. 历史服务器显示已完成和未完成的 Spark 作业。如果应用程序在失败后进行了多次尝试，则会显示失败的尝试，以及任何正在进行的未完成尝试或最终成功的尝试。

2. 未完成的应用程序仅间歇性更新。更新之间的时间由检查更改文件 (spark.history.fs.update.interval) 的间隔定义。在大型集群上，更新间隔可能会设置为较大的值。查看正在运行的应用程序的实际方法是查看其自己的 Web UI。

3. 退出时未将自身注册为已完成的应用程序将列为未完成——即使它们不再运行。如果应用程序崩溃，可能会发生这种情况。

4. 表示 Spark 作业完成的一种方法是显式停止 Spark Context (sc.stop())，或者在 Python 中使用 with SparkContext() as sc: 构造来处理 Spark Context 的设置和拆除。

REST API

除了在 UI 中查看指标外，它们也可以作为 JSON 提供。这为开发人员提供了一种创建新的 Spark 可视化和监控工具的简便方法。JSON 可用于正在运行的应用程序和历史服务器。端点安装在 /api/v1。例如，对于历史服务器，它们通常可以在 http://<server-url>:18080/api/v1 访问，对于正在运行的应用程序，可以在 http://localhost:4040/api/v1 访问。

在 API 中，应用程序通过其应用程序 ID [app-id] 进行引用。在 YARN 上运行时，每个应用程序可能进行多次尝试，但只有集群模式下的应用程序有尝试 ID，客户端模式下的应用程序没有。YARN 集群模式下的应用程序可以通过其 [attempt-id] 进行识别。在下面列出的 API 中，当在 YARN 集群模式下运行时，[app-id] 实际上将是 [base-app-id]/[attempt-id]，其中 [base-app-id] 是 YARN 应用程序 ID。

可检索的作业和阶段数量受到独立 Spark UI 相同保留机制的限制；"spark.ui.retainedJobs" 定义了触发作业垃圾回收的阈值，而 spark.ui.retainedStages 则定义了阶段的阈值。请注意，垃圾回收发生在回放时：通过增加这些值并重新启动历史服务器，可以检索更多条目。

Executor 任务指标

REST API 以任务执行的粒度公开了 Spark Executor 收集的任务指标值。这些指标可用于性能故障排除和工作负载特征分析。以下是可用指标的列表，附带简要说明：

Executor 指标

Executor 级别的指标作为心跳的一部分从每个 Executor 发送到驱动程序，以描述 Executor 本身的性能指标，例如 JVM 堆内存、GC 信息。Executor 指标值及其每个 Executor 测量的内存峰值通过 REST API 以 JSON 格式和 Prometheus 格式公开。JSON 端点位于：/applications/[app-id]/executors，Prometheus 端点位于：/metrics/executors/prometheus。此外，如果 spark.eventLog.logStageExecutorMetrics 为 true，则 Executor 内存指标的按阶段聚合峰值会写入事件日志。Executor 内存指标也通过基于 Dropwizard metrics library 的 Spark 指标系统公开。以下是可用指标的列表，附带简要描述：

RSS 和 Vmem 的计算基于 proc(5)

API 版本策略

这些端点已经过严格版本控制，以便于在其上开发应用程序。特别是，Spark 保证：

• 一个版本中的端点永远不会被移除
• 任何给定端点的单个字段永远不会被移除
• 可能会添加新的端点
• 可能会向现有端点添加新字段
• 未来可能会以单独的端点（例如 api/v2）添加 API 的新版本。新版本不要求向后兼容。
• API 版本可能会被弃用，但只有在与新 API 版本共存至少一个次要版本之后。

请注意，即使在检查正在运行的应用程序的 UI 时，applications/[app-id] 部分仍然是必需的，尽管只有一个可用的应用程序。例如，要查看正在运行的应用程序的作业列表，您需要访问 http://localhost:4040/api/v1/applications/[app-id]/jobs。这是为了保持两种模式下路径的一致性。

指标

Spark 有一个基于 Dropwizard Metrics Library 的可配置指标系统。这允许用户将 Spark 指标报告给各种接收器，包括 HTTP、JMX 和 CSV 文件。这些指标由嵌入在 Spark 代码库中的源生成。它们为特定活动和 Spark 组件提供仪器。指标系统通过 Spark 期望存在于 $SPARK_HOME/conf/metrics.properties 的配置文件进行配置。可以通过 spark.metrics.conf 配置属性指定自定义文件位置。除了使用配置文件外，还可以使用一组带有前缀 spark.metrics.conf. 的配置参数。默认情况下，用于驱动程序或 Executor 指标的根命名空间是 spark.app.id 的值。然而，很多时候，用户希望能够跟踪驱动程序和 Executor 在应用程序之间的指标，这在使用应用程序 ID（即 spark.app.id）时很难做到，因为它会随着应用程序的每次调用而改变。对于此类用例，可以使用 spark.metrics.namespace 配置属性为指标报告指定自定义命名空间。例如，如果用户希望将指标命名空间设置为应用程序的名称，他们可以将 spark.metrics.namespace 属性设置为类似 ${spark.app.name} 的值。然后 Spark 会适当地展开此值，并将其用作指标系统的根命名空间。非驱动程序和 Executor 指标永远不会以 spark.app.id 为前缀，spark.metrics.namespace 属性对此类指标也没有任何影响。

Spark 的指标被解耦为与 Spark 组件对应的不同**实例**。在每个实例中，您可以配置一组用于报告指标的接收器。目前支持以下实例：

• master: Spark standalone master 进程。
• applications: master 中的一个组件，用于报告各种应用程序。
• worker: Spark standalone worker 进程。
• executor: Spark Executor。
• driver: Spark 驱动程序进程（创建 SparkContext 的进程）。
• shuffleService: Spark Shuffle 服务。
• applicationMaster: 在 YARN 上运行时，Spark 的 ApplicationMaster。

每个实例可以向零个或多个**接收器**报告。接收器包含在 org.apache.spark.metrics.sink 包中：

• ConsoleSink: 将指标信息记录到控制台。
• CSVSink: 定期将指标数据导出到 CSV 文件。
• JmxSink: 注册指标以在 JMX 控制台中查看。
• MetricsServlet: 在现有 Spark UI 中添加一个 Servlet，用于将指标数据作为 JSON 数据提供服务。
• PrometheusServlet: (实验性) 在现有 Spark UI 中添加一个 Servlet，用于以 Prometheus 格式提供指标数据。
• GraphiteSink: 将指标发送到 Graphite 节点。
• Slf4jSink: 将指标作为日志条目发送到 slf4j。
• StatsdSink: 将指标发送到 StatsD 节点。

Prometheus Servlet 镜像了 Metrics Servlet 和 REST API 公开的 JSON 数据，但采用时间序列格式。以下是等效的 Prometheus Servlet 端点。

Spark 还支持 Ganglia 接收器，由于许可限制，它不包含在默认构建中

• GangliaSink: 将指标发送到 Ganglia 节点或多播组。

要安装 GangliaSink，您需要执行 Spark 的自定义构建。请注意，通过嵌入此库，您的 Spark 包将包含 LGPL 许可的代码。对于 sbt 用户，请在构建之前设置 SPARK_GANGLIA_LGPL 环境变量。对于 Maven 用户，请启用 -Pspark-ganglia-lgpl 配置文件。除了修改集群的 Spark 构建之外，用户应用程序还需要链接到 spark-ganglia-lgpl 工件。

指标配置文件的语法以及每个接收器可用的参数在示例配置文件 $SPARK_HOME/conf/metrics.properties.template 中定义。

当使用 Spark 配置参数而不是指标配置文件时，相关的参数名称由前缀 spark.metrics.conf. 后跟配置详细信息组成，即参数采用以下形式：spark.metrics.conf.[instance|*].sink.[sink_name].[parameter_name]。此示例显示了 Graphite 接收器的 Spark 配置参数列表：

"spark.metrics.conf.*.sink.graphite.class"="org.apache.spark.metrics.sink.GraphiteSink"
"spark.metrics.conf.*.sink.graphite.host"="graphiteEndPoint_hostName>"
"spark.metrics.conf.*.sink.graphite.port"=<graphite_listening_port>
"spark.metrics.conf.*.sink.graphite.period"=10
"spark.metrics.conf.*.sink.graphite.unit"=seconds
"spark.metrics.conf.*.sink.graphite.prefix"="optional_prefix"
"spark.metrics.conf.*.sink.graphite.regex"="optional_regex_to_send_matching_metrics"

Spark 指标配置的默认值如下：

"*.sink.servlet.class" = "org.apache.spark.metrics.sink.MetricsServlet"
"*.sink.servlet.path" = "/metrics/json"
"master.sink.servlet.path" = "/metrics/master/json"
"applications.sink.servlet.path" = "/metrics/applications/json"

可以使用指标配置文件或配置参数 spark.metrics.conf.[component_name].source.jvm.class=[source_name] 配置其他源。目前，JVM 源是唯一可用的可选源。例如，以下配置参数激活 JVM 源："spark.metrics.conf.*.source.jvm.class"="org.apache.spark.metrics.source.JvmSource"

可用指标提供者列表

Spark 使用的指标有多种类型：gauge、counter、histogram、meter 和 timer，详见 Dropwizard 库文档。以下组件和指标列表报告了可用指标的名称和一些详细信息，按组件实例和源命名空间分组。Spark 仪器中最常见的指标类型是 gauge 和 counter。Counter 可以通过其 .count 后缀识别。Timer、meter 和 histogram 在列表中有标注，列表的其余元素是 gauge 类型的指标。绝大多数指标在其父组件实例配置后立即激活，某些指标还需要通过额外的配置参数启用，详细信息在列表中报告。

组件实例 = Driver

这是具有最多仪器化指标的组件

• namespace=BlockManager
  • disk.diskSpaceUsed_MB
  • memory.maxMem_MB
  • memory.maxOffHeapMem_MB
  • memory.maxOnHeapMem_MB
  • memory.memUsed_MB
  • memory.offHeapMemUsed_MB
  • memory.onHeapMemUsed_MB
  • memory.remainingMem_MB
  • memory.remainingOffHeapMem_MB
  • memory.remainingOnHeapMem_MB
• namespace=HiveExternalCatalog
  • **注意：** 这些指标取决于一个配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• namespace=CodeGenerator
  • **注意：** 这些指标取决于一个配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • compilationTime (直方图)
  • generatedClassSize (直方图)
  • generatedMethodSize (直方图)
  • sourceCodeSize (直方图)
• namespace=DAGScheduler
  • job.activeJobs
  • job.allJobs
  • messageProcessingTime (计时器)
  • stage.failedStages
  • stage.runningStages
  • stage.waitingStages
• namespace=LiveListenerBus
  • listenerProcessingTime.org.apache.spark.HeartbeatReceiver (计时器)
  • listenerProcessingTime.org.apache.spark.scheduler.EventLoggingListener (计时器)
  • listenerProcessingTime.org.apache.spark.status.AppStatusListener (计时器)
  • numEventsPosted.count
  • queue.appStatus.listenerProcessingTime (计时器)
  • queue.appStatus.numDroppedEvents.count
  • queue.appStatus.size
  • queue.eventLog.listenerProcessingTime (计时器)
  • queue.eventLog.numDroppedEvents.count
  • queue.eventLog.size
  • queue.executorManagement.listenerProcessingTime (计时器)
• namespace=appStatus (所有指标类型均为 counter)
  • **注意：** 在 Spark 3.0 中引入。取决于一个配置参数：spark.metrics.appStatusSource.enabled（默认为 true）
  • stages.failedStages.count
  • stages.skippedStages.count
  • stages.completedStages.count
  • tasks.blackListedExecutors.count // 已弃用，请改用 excludedExecutors
  • tasks.excludedExecutors.count
  • tasks.completedTasks.count
  • tasks.failedTasks.count
  • tasks.killedTasks.count
  • tasks.skippedTasks.count
  • tasks.unblackListedExecutors.count // 已弃用，请改用 unexcludedExecutors
  • tasks.unexcludedExecutors.count
  • jobs.succeededJobs
  • jobs.failedJobs
  • jobDuration
• namespace=AccumulatorSource
  • **注意：** 用户可配置的源，用于将累加器附加到指标系统
  • DoubleAccumulatorSource
  • LongAccumulatorSource
• namespace=spark.streaming
  • **注意：** 这仅适用于 Spark Structured Streaming。取决于一个配置参数：spark.sql.streaming.metricsEnabled=true（默认为 false）
  • eventTime-watermark
  • inputRate-total
  • latency
  • processingRate-total
  • states-rowsTotal
  • states-usedBytes
• namespace=JVMCPU
  • jvmCpuTime
• namespace=executor
  • **注意：** 这些指标仅在本地模式下在驱动程序中可用。
  • 此命名空间中可用指标的完整列表可在 Executor 组件实例的相应条目中找到。
• namespace=ExecutorMetrics
  • **注意：** 这些指标取决于一个配置参数：spark.metrics.executorMetricsSource.enabled（默认为 true）
  • 此源包含与内存相关的指标。此命名空间中可用指标的完整列表可在 Executor 组件实例的相应条目中找到。
• namespace=ExecutorAllocationManager
  • **注意：** 这些指标仅在使用动态分配时发出。取决于一个配置参数 spark.dynamicAllocation.enabled（默认为 false）
  • executors.numberExecutorsToAdd
  • executors.numberExecutorsPendingToRemove
  • executors.numberAllExecutors
  • executors.numberTargetExecutors
  • executors.numberMaxNeededExecutors
  • executors.numberDecommissioningExecutors
  • executors.numberExecutorsGracefullyDecommissioned.count
  • executors.numberExecutorsDecommissionUnfinished.count
  • executors.numberExecutorsExitedUnexpectedly.count
  • executors.numberExecutorsKilledByDriver.count
• namespace=plugin.<Plugin Class Name>
  • 可选命名空间。此命名空间中的指标由用户提供的代码定义，并使用 Spark 插件 API 配置。有关如何将自定义插件加载到 Spark 中，请参见下面的“高级仪器”部分。

组件实例 = Executor

这些指标由 Spark Executor 公开。

• namespace=executor (指标类型为 counter 或 gauge)
  • 备注
    • spark.executor.metrics.fileSystemSchemes（默认：file,hdfs）决定了公开的文件系统指标。
  • bytesRead.count
  • bytesWritten.count
  • cpuTime.count
  • deserializeCpuTime.count
  • deserializeTime.count
  • diskBytesSpilled.count
  • filesystem.file.largeRead_ops
  • filesystem.file.read_bytes
  • filesystem.file.read_ops
  • filesystem.file.write_bytes
  • filesystem.file.write_ops
  • filesystem.hdfs.largeRead_ops
  • filesystem.hdfs.read_bytes
  • filesystem.hdfs.read_ops
  • filesystem.hdfs.write_bytes
  • filesystem.hdfs.write_ops
  • jvmGCTime.count
  • memoryBytesSpilled.count
  • recordsRead.count
  • recordsWritten.count
  • resultSerializationTime.count
  • resultSize.count
  • runTime.count
  • shuffleBytesWritten.count
  • shuffleFetchWaitTime.count
  • shuffleLocalBlocksFetched.count
  • shuffleLocalBytesRead.count
  • shuffleRecordsRead.count
  • shuffleRecordsWritten.count
  • shuffleRemoteBlocksFetched.count
  • shuffleRemoteBytesRead.count
  • shuffleRemoteBytesReadToDisk.count
  • shuffleTotalBytesRead.count
  • shuffleWriteTime.count
  • 与基于推送的 Shuffle 相关的指标
    • shuffleCorruptMergedBlockChunks
    • shuffleMergedFetchFallbackCount
    • shuffleMergedRemoteBlocksFetched
    • shuffleMergedLocalBlocksFetched
    • shuffleMergedRemoteChunksFetched
    • shuffleMergedLocalChunksFetched
    • shuffleMergedRemoteBytesRead
    • shuffleMergedLocalBytesRead
    • shuffleRemoteReqsDuration
    • shuffleMergedRemoteReqsDuration
  • succeededTasks.count
  • threadpool.activeTasks
  • threadpool.completeTasks
  • threadpool.currentPool_size
  • threadpool.maxPool_size
  • threadpool.startedTasks
• namespace=ExecutorMetrics
  • 备注
    • 这些指标取决于一个配置参数：spark.metrics.executorMetricsSource.enabled（默认值为 true）
    • ExecutorMetrics 作为心跳进程的一部分进行更新，这些进程会定期为 Executor 和驱动程序调度：spark.executor.heartbeatInterval（默认值为 10 秒）
    • Executor 内存指标提供了一个可选的更快的轮询机制，可以通过使用配置参数 spark.executor.metrics.pollingInterval 设置轮询间隔（以毫秒为单位）来激活它。
  • JVMHeapMemory
  • JVMOffHeapMemory
  • OnHeapExecutionMemory
  • OnHeapStorageMemory
  • OnHeapUnifiedMemory
  • OffHeapExecutionMemory
  • OffHeapStorageMemory
  • OffHeapUnifiedMemory
  • DirectPoolMemory
  • MappedPoolMemory
  • MinorGCCount
  • MinorGCTime
  • MajorGCCount
  • MajorGCTime
  • “ProcessTree*” 指标计数器
    • ProcessTreeJVMVMemory
    • ProcessTreeJVMRSSMemory
    • ProcessTreePythonVMemory
    • ProcessTreePythonRSSMemory
    • ProcessTreeOtherVMemory
    • ProcessTreeOtherRSSMemory
    • **注意：** “ProcessTree*” 指标仅在特定条件下收集。这些条件是以下条件的逻辑与：/proc 文件系统存在，spark.executor.processTreeMetrics.enabled=true。“ProcessTree*” 指标在不满足这些条件时报告 0。
• namespace=JVMCPU
  • jvmCpuTime
• namespace=NettyBlockTransfer
  • shuffle-client.usedDirectMemory
  • shuffle-client.usedHeapMemory
  • shuffle-server.usedDirectMemory
  • shuffle-server.usedHeapMemory
• namespace=HiveExternalCatalog
  • **注意：** 这些指标取决于一个配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• namespace=CodeGenerator
  • **注意：** 这些指标取决于一个配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • compilationTime (直方图)
  • generatedClassSize (直方图)
  • generatedMethodSize (直方图)
  • sourceCodeSize (直方图)
• namespace=plugin.<Plugin Class Name>
  • 可选命名空间。此命名空间中的指标由用户提供的代码定义，并使用 Spark 插件 API 配置。有关如何将自定义插件加载到 Spark 中，请参见下面的“高级仪器”部分。

源 = JVM 源

备注

• 通过设置相关的 metrics.properties 文件条目或配置参数来激活此源：spark.metrics.conf.*.source.jvm.class=org.apache.spark.metrics.source.JvmSource
• 这些指标取决于一个配置参数：spark.metrics.staticSources.enabled（默认为 true）
• 此源适用于驱动程序和 Executor 实例，也适用于其他实例。
• 此源使用 Dropwizard/Codahale Metric Sets for JVM instrumentation 提供 JVM 指标信息，特别是 BufferPoolMetricSet、GarbageCollectorMetricSet 和 MemoryUsageGaugeSet 指标集。

组件实例 = ApplicationMaster

注意：在 YARN 上运行时适用

• numContainersPendingAllocate
• numExecutorsFailed
• numExecutorsRunning
• numLocalityAwareTasks
• numReleasedContainers

组件实例 = master

注意：作为 Master 在 Spark Standalone 中运行时适用

• workers
• aliveWorkers
• apps
• waitingApps

组件实例 = ApplicationSource

注意：作为 Master 在 Spark Standalone 中运行时适用

• status
• runtime_ms
• cores

组件实例 = worker

注意：作为 Worker 在 Spark Standalone 中运行时适用

• executors
• coresUsed
• memUsed_MB
• coresFree
• memFree_MB

组件实例 = ShuffleService

注意：适用于 Shuffle 服务

• blockTransferRate (计量器) - 传输块的速率
• blockTransferMessageRate (计量器) - 块传输消息的速率，即如果启用了批量获取，这表示批次的数量而不是块的数量
• blockTransferRateBytes (计量器)
• blockTransferAvgSize_1min (仪表盘 - 1分钟移动平均值)
• numActiveConnections.count
• numRegisteredConnections.count
• numCaughtExceptions.count
• openBlockRequestLatencyMillis (计时器)
• registerExecutorRequestLatencyMillis (计时器)
• fetchMergedBlocksMetaLatencyMillis (计时器)
• finalizeShuffleMergeLatencyMillis (计时器)
• registeredExecutorsSize
• shuffle-server.usedDirectMemory

• shuffle-server.usedHeapMemory

• **注意：** 当服务器端配置 spark.shuffle.push.server.mergedShuffleFileManagerImpl 设置为 org.apache.spark.network.shuffle.MergedShuffleFileManager 用于基于推送的 Shuffle 时，以下指标适用：
• blockBytesWritten - 写入文件的推送块数据大小，以字节为单位
• blockAppendCollisions - 在 shuffle 服务中，当同一 reduce 分区的另一个块正在写入时，发生冲突的 shuffle 推送块的数量
• lateBlockPushes - 在特定 shuffle 合并完成后，shuffle 服务中收到的 shuffle 推送块的数量
• deferredBlocks - 当前在内存中缓冲的延迟块部分的数量
• deferredBlockBytes - 当前在内存中缓冲的延迟块部分的大小
• staleBlockPushes - 过时 shuffle 块推送请求的数量
• ignoredBlockBytes - 已传输到 ESS 但被忽略的推送块数据大小。推送的块数据在以下情况下被视为忽略：1. 在 shuffle 完成后收到；2. 推送请求是针对重复块的；3. ESS 无法写入该块。

高级仪器

可以使用多种外部工具来帮助分析 Spark 作业的性能：

• 集群范围的监控工具，例如 Ganglia，可以深入了解整体集群利用率和资源瓶颈。例如，Ganglia 仪表板可以快速揭示特定工作负载是磁盘受限、网络受限还是 CPU 受限。
• 操作系统分析工具，例如 dstat、iostat 和 iotop，可以在单个节点上提供细粒度分析。
• JVM 工具，例如用于提供堆栈跟踪的 jstack、用于创建堆转储的 jmap、用于报告时间序列统计信息的 jstat 和用于可视化探索各种 JVM 属性的 jconsole，对于熟悉 JVM 内部的人来说非常有用。

Spark 还提供了插件 API，以便可以将自定义仪器代码添加到 Spark 应用程序中。有两个可用于将插件加载到 Spark 中的配置键：

• spark.plugins
• spark.plugins.defaultList

两者都接受一个逗号分隔的类名列表，这些类名实现了 org.apache.spark.api.plugin.SparkPlugin 接口。存在这两个名称是为了可以将一个列表放置在 Spark 默认配置文件中，允许用户轻松地从命令行添加其他插件，而无需覆盖配置文件的列表。重复的插件将被忽略。