监控与测量

• Web 界面
  • 事后查看
    • 环境变量
    • 对滚动事件日志文件应用压缩
    • Spark 历史服务器配置选项
  • REST API
    • 执行器任务指标
    • 执行器指标
    • API 版本控制策略
• 指标
  • 可用指标提供程序列表
    • 组件实例 = Driver
    • 组件实例 = Executor
    • 源 = JVM Source
    • 组件实例 = applicationMaster
    • 组件实例 = master
    • 组件实例 = ApplicationSource
    • 组件实例 = worker
    • 组件实例 = shuffleService
• 高级测量

监控 Spark 应用程序有多种方法：Web UI、指标和外部测量工具。

Web 界面

每个 SparkContext 都会启动一个 Web UI（默认端口为 4040），用于显示有关应用程序的有用信息。其中包括：

• 调度程序阶段（Stages）和任务（Tasks）列表
• RDD 大小和内存使用情况摘要
• 环境信息。
• 有关正在运行的执行器（Executors）的信息

您只需在浏览器中打开 http://<driver-node>:4040 即可访问此界面。如果同一主机上运行了多个 SparkContext，它们将绑定到从 4040 开始的后续端口（4041、4042 等）。

请注意，默认情况下，这些信息仅在应用程序运行期间可用。要在事后查看 Web UI，请在启动应用程序之前将 spark.eventLog.enabled 设置为 true。这将配置 Spark 将 UI 中显示的信息记录到持久存储中。

事后查看

只要应用程序的事件日志存在，仍然可以通过 Spark 的历史服务器构建应用程序的 UI。您可以通过执行以下命令启动历史服务器：

./sbin/start-history-server.sh

默认情况下，这会创建一个位于 http://<server-url>:18080 的 Web 界面，列出未完成和已完成的应用程序及尝试。

使用文件系统提供程序类（请参阅下文的 spark.history.provider）时，必须在 spark.history.fs.logDirectory 配置选项中提供基础日志目录，且该目录应包含分别代表每个应用程序事件日志的子目录。

Spark 作业本身必须配置为记录事件，并将其记录到相同的共享可写目录中。例如，如果服务器配置的日志目录为 hdfs://namenode/shared/spark-logs，则客户端选项应为：

spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs

历史服务器可以按如下方式配置：

环境变量

对滚动事件日志文件应用压缩

长运行应用程序（例如流处理）可能会产生一个巨大的单个事件日志文件，这可能导致高昂的维护成本，并且在 Spark 历史服务器中每次更新时都需要大量资源进行重放。

启用 spark.eventLog.rolling.enabled 和 spark.eventLog.rolling.maxFileSize 可以让您拥有滚动事件日志文件，而不是单个巨大的事件日志文件，这在某些场景下会有帮助，但仍无法帮助您减少日志的总大小。

Spark 历史服务器可以通过在 Spark 历史服务器上设置配置 spark.history.fs.eventLog.rolling.maxFilesToRetain，对滚动事件日志文件进行压缩，从而减小日志的总大小。

具体细节将在下文描述，但请提前注意，压缩是**有损**操作。压缩将丢弃一些在 UI 上不再可见的事件——在启用该选项之前，您可能需要检查哪些事件会被丢弃。

当执行压缩时，历史服务器会列出该应用程序的所有可用事件日志文件，并将索引小于要保留的最小索引文件的事件日志文件视为压缩目标。例如，如果应用程序 A 有 5 个事件日志文件，且 spark.history.fs.eventLog.rolling.maxFilesToRetain 设置为 2，则前 3 个日志文件将被选中进行压缩。

一旦选中目标，它会进行分析以确定哪些事件可以被排除，并将其重写为一个紧凑的文件，同时丢弃决定排除的事件。

压缩试图排除指向过时数据的事件。目前，以下描述了候选的可排除事件：

• 已完成作业的事件，以及相关的阶段/任务事件
• 已终止执行器的事件
• 已完成 SQL 执行的事件，以及相关的作业/阶段/任务事件

重写完成后，原始日志文件将以尽力而为的方式被删除。历史服务器可能无法删除原始日志文件，但这不会影响历史服务器的操作。

请注意，如果 Spark 历史服务器发现压缩后空间减少不多，则可能不会压缩旧的事件日志文件。对于流式查询，我们通常预期压缩会运行，因为每个微批处理都会触发一个或多个很快完成的作业，但在批处理查询的许多情况下，压缩不会运行。

另请注意，这是 Spark 3.0 引入的一项新功能，可能尚未完全稳定。在某些情况下，压缩可能会排除超出您预期的事件，从而导致历史服务器上该应用程序出现一些 UI 问题。请谨慎使用。

Spark 历史服务器配置选项

有关 Spark 历史服务器的安全选项，请参阅 安全 页面。

请注意，在所有这些 UI 中，表格都可以通过单击标题进行排序，从而轻松识别慢任务、数据倾斜等。

注意

1. 历史服务器显示已完成和未完成的 Spark 作业。如果应用程序在失败后进行了多次尝试，则会显示失败的尝试，以及任何正在进行的未完成尝试或最终成功的尝试。

2. 未完成的应用程序仅断续更新。更新间隔时间由检查更改文件的时间间隔（spark.history.fs.update.interval）定义。在较大的集群上，更新间隔可能会设置得很大。查看正在运行的应用程序的实际方法是访问其自己的 Web UI。

3. 那些未将自己注册为已完成但退出的应用程序将被列为“未完成”——即使它们不再运行。如果应用程序崩溃，可能会发生这种情况。

4. 发出 Spark 作业完成信号的一种方法是显式停止 Spark Context（sc.stop()），或者在 Python 中使用 with SparkContext() as sc: 结构来处理 Spark Context 的设置和拆卸。

REST API

除了在 UI 中查看指标外，它们也可以以 JSON 格式提供。这为开发人员创建新的 Spark 可视化和监控工具提供了简便的方法。JSON 数据对于正在运行的应用程序和历史服务器都可用。端点挂载在 /api/v1。例如，对于历史服务器，它们通常可在 http://<server-url>:18080/api/v1 访问，对于正在运行的应用程序，可在 https://:4040/api/v1 访问。

在 API 中，应用程序通过其应用程序 ID [app-id] 来引用。在 YARN 上运行时，每个应用程序可能有多次尝试，但只有集群模式下的应用程序才有尝试 ID，客户端模式下的应用程序没有。YARN 集群模式下的应用程序可以通过其 [attempt-id] 来识别。在下文列出的 API 中，当在 YARN 集群模式下运行时，[app-id] 实际上是 [base-app-id]/[attempt-id]，其中 [base-app-id] 是 YARN 应用程序 ID。

可检索的作业和阶段数量受到独立 Spark UI 相同保留机制的限制；"spark.ui.retainedJobs" 定义了触发作业垃圾回收的阈值，spark.ui.retainedStages 定义了阶段的阈值。请注意，垃圾回收在回放时发生：通过增加这些值并重启历史服务器，可以检索到更多的条目。

执行器任务指标

REST API 以任务执行粒度公开了 Spark 执行器收集的任务指标的值。这些指标可用于性能故障排除和工作负载表征。以下是可用指标及其简短描述的列表：

执行器指标

执行器级指标作为心跳的一部分从每个执行器发送到驱动程序，以描述执行器本身的性能指标，如 JVM 堆内存、GC 信息。执行器指标值及其每个执行器的测量内存峰值通过 REST API 以 JSON 格式和 Prometheus 格式公开。JSON 端点公开于：/applications/[app-id]/executors，Prometheus 端点公开于：/metrics/executors/prometheus。此外，如果 spark.eventLog.logStageExecutorMetrics 为 true，则执行器内存指标的每阶段聚合峰值会写入事件日志。执行器内存指标也通过基于 Dropwizard 指标库 的 Spark 指标系统公开。以下是可用指标及其简短描述的列表：

RSS 和 Vmem 的计算基于 proc(5)。

API 版本控制策略

这些端点已严格版本化，以便于在其之上开发应用程序。特别是，Spark 保证：

• 端点不会从一个版本中移除
• 对于任何给定的端点，单个字段永远不会被删除
• 可能会添加新端点
• 可能会向现有端点添加新字段
• 将来可能会以单独端点的形式添加新版本的 API（例如 api/v2）。新版本不要求向后兼容。
• API 版本可能会被废弃，但前提是至少经过一个与新 API 版本共存的次要版本发布。

请注意，即使在检查正在运行的应用程序的 UI 时，仍需要 applications/[app-id] 部分，尽管此时只有一个应用程序可用。例如，要查看正在运行应用程序的作业列表，您将访问 https://:4040/api/v1/applications/[app-id]/jobs。这是为了使两种模式下的路径保持一致。

指标

Spark 有一个可配置的指标系统，基于 Dropwizard 指标库。这允许用户将 Spark 指标报告给各种接收器（Sinks），包括 HTTP、JMX 和 CSV 文件。这些指标由嵌入在 Spark 代码库中的源生成。它们为特定的活动和 Spark 组件提供测量工具。指标系统通过 Spark 期望存在于 $SPARK_HOME/conf/metrics.properties 的配置文件进行配置。可以通过 spark.metrics.conf 配置属性 指定自定义文件位置。除了使用配置文件外，还可以使用带前缀 spark.metrics.conf. 的一组配置参数。默认情况下，驱动程序或执行器指标使用的根命名空间是 spark.app.id 的值。然而，用户通常希望能够跨应用程序跟踪驱动程序和执行器的指标，而使用应用程序 ID（即 spark.app.id）很难做到这一点，因为它会随着应用程序的每次调用而改变。对于此类用例，可以使用 spark.metrics.namespace 配置属性为指标报告指定自定义命名空间。例如，如果用户想将指标命名空间设置为应用程序名称，他们可以将 spark.metrics.namespace 属性设置为类似 ${spark.app.name} 的值。然后，该值由 Spark 进行适当扩展，并用作指标系统的根命名空间。非驱动程序和非执行器指标从不以 spark.app.id 为前缀，spark.metrics.namespace 属性对此类指标也没有任何影响。

Spark 的指标被解耦到对应于 Spark 组件的不同实例中。在每个实例内，您可以配置一组报告指标的接收器。目前支持以下实例：

• master：Spark 独立（standalone）主进程。
• applications：主进程中的一个组件，用于报告各种应用程序的情况。
• worker：Spark 独立工作节点进程。
• executor：Spark 执行器。
• driver：Spark 驱动程序进程（创建 SparkContext 的进程）。
• shuffleService：Spark shuffle 服务。
• applicationMaster：在 YARN 上运行时的 Spark ApplicationMaster。

每个实例可以向零个或多个接收器报告。接收器包含在 org.apache.spark.metrics.sink 包中：

• ConsoleSink：将指标信息记录到控制台。
• CSVSink：定期将指标数据导出到 CSV 文件。
• JmxSink：注册指标以在 JMX 控制台中查看。
• MetricsServlet：在现有的 Spark UI 中添加一个 servlet，以 JSON 数据形式提供指标数据。
• PrometheusServlet：（实验性）在现有的 Spark UI 中添加一个 servlet，以 Prometheus 格式提供指标数据。
• GraphiteSink：将指标发送到 Graphite 节点。
• Slf4jSink：将指标作为日志条目发送到 slf4j。
• StatsdSink：将指标发送到 StatsD 节点。

Prometheus Servlet 镜像了由 Metrics Servlet 和 REST API 公开的 JSON 数据，但采用了时间序列格式。以下是对应的 Prometheus Servlet 端点：

Spark 还支持一个 Ganglia 接收器，由于许可限制，它未包含在默认构建中。

• GangliaSink：将指标发送到 Ganglia 节点或多播组。

要安装 GangliaSink，您需要执行 Spark 的自定义构建。请注意，通过嵌入此库，您将在 Spark 包中包含 LGPL 许可的代码。对于 sbt 用户，请在构建前设置 SPARK_GANGLIA_LGPL 环境变量。对于 Maven 用户，请启用 -Pspark-ganglia-lgpl 配置文件。除了修改集群的 Spark 构建外，用户应用程序还需要链接到 spark-ganglia-lgpl 工件。

指标配置文件的语法以及每个接收器可用的参数定义在示例配置文件 $SPARK_HOME/conf/metrics.properties.template 中。

当使用 Spark 配置参数而不是指标配置文件时，相关的参数名称由前缀 spark.metrics.conf. 后跟配置详细信息组成，即参数采用以下形式：spark.metrics.conf.[instance|*].sink.[sink_name].[parameter_name]。此示例显示了 Graphite 接收器的 Spark 配置参数列表。

"spark.metrics.conf.*.sink.graphite.class"="org.apache.spark.metrics.sink.GraphiteSink"
"spark.metrics.conf.*.sink.graphite.host"="graphiteEndPoint_hostName>"
"spark.metrics.conf.*.sink.graphite.port"=<graphite_listening_port>
"spark.metrics.conf.*.sink.graphite.period"=10
"spark.metrics.conf.*.sink.graphite.unit"=seconds
"spark.metrics.conf.*.sink.graphite.prefix"="optional_prefix"
"spark.metrics.conf.*.sink.graphite.regex"="optional_regex_to_send_matching_metrics"

Spark 指标配置的默认值如下：

"*.sink.servlet.class" = "org.apache.spark.metrics.sink.MetricsServlet"
"*.sink.servlet.path" = "/metrics/json"
"master.sink.servlet.path" = "/metrics/master/json"
"applications.sink.servlet.path" = "/metrics/applications/json"

可以使用指标配置文件或配置参数 spark.metrics.conf.[component_name].source.jvm.class=[source_name] 来配置额外的源。目前，JVM 源是唯一可用的可选源。例如，以下配置参数激活了 JVM 源："spark.metrics.conf.*.source.jvm.class"="org.apache.spark.metrics.source.JvmSource"

可用指标提供程序列表

Spark 使用的指标有多种类型：gauge（仪表）、counter（计数器）、histogram（直方图）、meter（度量计）和 timer（计时器），请参阅 Dropwizard 库文档以获取详细信息。以下组件和指标列表报告了可用指标的名称及一些详细信息，按组件实例和源命名空间分组。Spark 测量中最常使用的指标类型是仪表和计数器。计数器可以识别，因为它们带有 .count 后缀。计时器、度量计和直方图在列表中有标注，列表的其余元素是仪表类型的指标。绝大多数指标在配置其父组件实例后即可激活，有些指标还需要通过额外的配置参数启用，详细信息在列表中报告。

组件实例 = Driver

这是测量指标最多的组件：

• namespace=BlockManager
  • disk.diskSpaceUsed_MB
  • memory.maxMem_MB
  • memory.maxOffHeapMem_MB
  • memory.maxOnHeapMem_MB
  • memory.memUsed_MB
  • memory.offHeapMemUsed_MB
  • memory.onHeapMemUsed_MB
  • memory.remainingMem_MB
  • memory.remainingOffHeapMem_MB
  • memory.remainingOnHeapMem_MB
• namespace=HiveExternalCatalog
  • 注：这些指标受制于配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• namespace=CodeGenerator
  • 注：这些指标受制于配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • compilationTime (histogram)
  • generatedClassSize (histogram)
  • generatedMethodSize (histogram)
  • sourceCodeSize (histogram)
• namespace=DAGScheduler
  • job.activeJobs
  • job.allJobs
  • messageProcessingTime (timer)
  • stage.failedStages
  • stage.runningStages
  • stage.waitingStages
• namespace=LiveListenerBus
  • listenerProcessingTime.org.apache.spark.HeartbeatReceiver (timer)
  • listenerProcessingTime.org.apache.spark.scheduler.EventLoggingListener (timer)
  • listenerProcessingTime.org.apache.spark.status.AppStatusListener (timer)
  • numEventsPosted.count
  • queue.appStatus.listenerProcessingTime (timer)
  • queue.appStatus.numDroppedEvents.count
  • queue.appStatus.size
  • queue.eventLog.listenerProcessingTime (timer)
  • queue.eventLog.numDroppedEvents.count
  • queue.eventLog.size
  • queue.executorManagement.listenerProcessingTime (timer)
• namespace=appStatus (所有类型为 counter 的指标)
  • 注：在 Spark 3.0 中引入。受制于配置参数：spark.metrics.appStatusSource.enabled（默认为 true）
  • stages.failedStages.count
  • stages.skippedStages.count
  • stages.completedStages.count
  • tasks.blackListedExecutors.count // 已弃用，请改用 excludedExecutors
  • tasks.excludedExecutors.count
  • tasks.completedTasks.count
  • tasks.failedTasks.count
  • tasks.killedTasks.count
  • tasks.skippedTasks.count
  • tasks.unblackListedExecutors.count // 已弃用，请改用 unexcludedExecutors
  • tasks.unexcludedExecutors.count
  • jobs.succeededJobs
  • jobs.failedJobs
  • jobDuration
• namespace=AccumulatorSource
  • 注：用户可配置的源，用于将累加器附加到指标系统
  • DoubleAccumulatorSource
  • LongAccumulatorSource
• namespace=spark.streaming
  • 注：仅适用于 Spark 结构化流（Structured Streaming）。受制于配置参数：spark.sql.streaming.metricsEnabled=true（默认为 false）
  • eventTime-watermark
  • inputRate-total
  • latency
  • processingRate-total
  • states-rowsTotal
  • states-usedBytes
• namespace=JVMCPU
  • jvmCpuTime
• namespace=executor
  • 注：这些指标仅在本地模式下的驱动程序中可用。
  • 此命名空间中可用指标的完整列表可在 Executor 组件实例的相应条目中找到。
• namespace=ExecutorMetrics
  • 注：这些指标受制于配置参数：spark.metrics.executorMetricsSource.enabled（默认为 true）
  • 此源包含与内存相关的指标。此命名空间中可用指标的完整列表可在 Executor 组件实例的相应条目中找到。
• namespace=ExecutorAllocationManager
  • 注：这些指标仅在使用动态分配时发出。受制于配置参数 spark.dynamicAllocation.enabled（默认为 false）
  • executors.numberExecutorsToAdd
  • executors.numberExecutorsPendingToRemove
  • executors.numberAllExecutors
  • executors.numberTargetExecutors
  • executors.numberMaxNeededExecutors
  • executors.numberDecommissioningExecutors
  • executors.numberExecutorsGracefullyDecommissioned.count
  • executors.numberExecutorsDecommissionUnfinished.count
  • executors.numberExecutorsExitedUnexpectedly.count
  • executors.numberExecutorsKilledByDriver.count
• namespace=plugin.<Plugin Class Name>
  • 可选命名空间。此命名空间中的指标由用户提供的代码定义，并使用 Spark 插件 API 进行配置。请参阅下文的“高级测量”，了解如何将自定义插件加载到 Spark 中。

组件实例 = Executor

这些指标由 Spark 执行器公开。

• namespace=executor (指标类型为 counter 或 gauge)
  • 备注
    • spark.executor.metrics.fileSystemSchemes（默认：file,hdfs）决定了公开的文件系统指标。
  • bytesRead.count
  • bytesWritten.count
  • cpuTime.count
  • deserializeCpuTime.count
  • deserializeTime.count
  • diskBytesSpilled.count
  • filesystem.file.largeRead_ops
  • filesystem.file.read_bytes
  • filesystem.file.read_ops
  • filesystem.file.write_bytes
  • filesystem.file.write_ops
  • filesystem.hdfs.largeRead_ops
  • filesystem.hdfs.read_bytes
  • filesystem.hdfs.read_ops
  • filesystem.hdfs.write_bytes
  • filesystem.hdfs.write_ops
  • jvmGCTime.count
  • memoryBytesSpilled.count
  • recordsRead.count
  • recordsWritten.count
  • resultSerializationTime.count
  • resultSize.count
  • runTime.count
  • shuffleBytesWritten.count
  • shuffleFetchWaitTime.count
  • shuffleLocalBlocksFetched.count
  • shuffleLocalBytesRead.count
  • shuffleRecordsRead.count
  • shuffleRecordsWritten.count
  • shuffleRemoteBlocksFetched.count
  • shuffleRemoteBytesRead.count
  • shuffleRemoteBytesReadToDisk.count
  • shuffleTotalBytesRead.count
  • shuffleWriteTime.count
  • 与基于推送的 shuffle（push-based shuffle）相关的指标
    • shuffleCorruptMergedBlockChunks
    • shuffleMergedFetchFallbackCount
    • shuffleMergedRemoteBlocksFetched
    • shuffleMergedLocalBlocksFetched
    • shuffleMergedRemoteChunksFetched
    • shuffleMergedLocalChunksFetched
    • shuffleMergedRemoteBytesRead
    • shuffleMergedLocalBytesRead
    • shuffleRemoteReqsDuration
    • shuffleMergedRemoteReqsDuration
  • succeededTasks.count
  • threadpool.activeTasks
  • threadpool.completeTasks
  • threadpool.currentPool_size
  • threadpool.maxPool_size
  • threadpool.startedTasks
• namespace=ExecutorMetrics
  • 备注
    • 这些指标受制于配置参数：spark.metrics.executorMetricsSource.enabled（默认值为 true）
    • ExecutorMetrics 作为定期为执行器和驱动程序安排的心跳进程的一部分进行更新：spark.executor.heartbeatInterval（默认值为 10 秒）。
    • 执行器内存指标提供了一种可选的更快速轮询机制，可以通过使用配置参数 spark.executor.metrics.pollingInterval 设置轮询间隔（以毫秒为单位）来激活。
  • JVMHeapMemory
  • JVMOffHeapMemory
  • OnHeapExecutionMemory
  • OnHeapStorageMemory
  • OnHeapUnifiedMemory
  • OffHeapExecutionMemory
  • OffHeapStorageMemory
  • OffHeapUnifiedMemory
  • DirectPoolMemory
  • MappedPoolMemory
  • MinorGCCount
  • MinorGCTime
  • MajorGCCount
  • MajorGCTime
  • “ProcessTree*” 指标计数器
    • ProcessTreeJVMVMemory
    • ProcessTreeJVMRSSMemory
    • ProcessTreePythonVMemory
    • ProcessTreePythonRSSMemory
    • ProcessTreeOtherVMemory
    • ProcessTreeOtherRSSMemory
    • 注：“ProcessTree*” 指标仅在特定条件下收集。条件是以下各项的逻辑 AND：/proc 文件系统存在，spark.executor.processTreeMetrics.enabled=true。当不满足这些条件时，“ProcessTree*” 指标报告 0。
• namespace=JVMCPU
  • jvmCpuTime
• namespace=NettyBlockTransfer
  • shuffle-client.usedDirectMemory
  • shuffle-client.usedHeapMemory
  • shuffle-server.usedDirectMemory
  • shuffle-server.usedHeapMemory
• namespace=HiveExternalCatalog
  • 注：这些指标受制于配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• namespace=CodeGenerator
  • 注：这些指标受制于配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • compilationTime (histogram)
  • generatedClassSize (histogram)
  • generatedMethodSize (histogram)
  • sourceCodeSize (histogram)
• namespace=plugin.<Plugin Class Name>
  • 可选命名空间。此命名空间中的指标由用户提供的代码定义，并使用 Spark 插件 API 进行配置。请参阅下文的“高级测量”，了解如何将自定义插件加载到 Spark 中。

源 = JVM Source

备注

• 通过设置相关的 metrics.properties 文件条目或配置参数来激活此源：spark.metrics.conf.*.source.jvm.class=org.apache.spark.metrics.source.JvmSource
• 这些指标受制于配置参数：spark.metrics.staticSources.enabled（默认为 true）
• 此源适用于驱动程序和执行器实例，也适用于其他实例。
• 此源使用 Dropwizard/Codahale 用于 JVM 测量的指标集（特别是 BufferPoolMetricSet、GarbageCollectorMetricSet 和 MemoryUsageGaugeSet）提供有关 JVM 指标的信息。

组件实例 = applicationMaster

注：在 YARN 上运行时适用

• numContainersPendingAllocate
• numExecutorsFailed
• numExecutorsRunning
• numLocalityAwareTasks
• numReleasedContainers

组件实例 = master

注：在 Spark 独立模式作为 master 运行时适用

• workers
• aliveWorkers
• apps
• waitingApps

组件实例 = ApplicationSource

注：在 Spark 独立模式作为 master 运行时适用

• status
• runtime_ms
• cores

组件实例 = worker

注：在 Spark 独立模式作为 worker 运行时适用

• executors
• coresUsed
• memUsed_MB
• coresFree
• memFree_MB

组件实例 = shuffleService

注：适用于 shuffle 服务

• blockTransferRate (meter) - 块传输速率
• blockTransferMessageRate (meter) - 块传输消息速率，例如，如果启用了批量获取，这表示批次数而不是块数
• blockTransferRateBytes (meter)
• blockTransferAvgSize_1min (gauge - 1 分钟移动平均值)
• numActiveConnections.count
• numRegisteredConnections.count
• numCaughtExceptions.count
• openBlockRequestLatencyMillis (timer)
• registerExecutorRequestLatencyMillis (timer)
• fetchMergedBlocksMetaLatencyMillis (timer)
• finalizeShuffleMergeLatencyMillis (timer)
• registeredExecutorsSize
• shuffle-server.usedDirectMemory

• shuffle-server.usedHeapMemory

• 注：当用于推送 shuffle 的服务端配置 spark.shuffle.push.server.mergedShuffleFileManagerImpl 设置为 org.apache.spark.network.shuffle.MergedShuffleFileManager 时，以下指标适用：
• blockBytesWritten - 写入文件的已推送块数据的大小（以字节为单位）
• blockAppendCollisions - 在 shuffle 服务中发生冲突的 shuffle 推送块数（因为同一 reduce 分区的另一个块正在被写入）
• lateBlockPushes - 特定 shuffle 合并已最终确定后，在 shuffle 服务中接收到的 shuffle 推送块数
• deferredBlocks - 当前缓冲在内存中的延迟块部分的数量
• deferredBlockBytes - 当前缓冲在内存中的延迟块部分的大小
• staleBlockPushes - 过期的 shuffle 块推送请求数
• ignoredBlockBytes - 传输到 ESS 但被忽略的已推送块数据的大小。在以下情况中，已推送的块数据被视为已忽略：1. 它在 shuffle 最终确定后接收到；2. 当推送请求是重复块时；3. ESS 无法写入块时。

高级测量

可以使用多种外部工具来帮助分析 Spark 作业的性能：

• 集群范围的监控工具（如 Ganglia）可以深入了解整个集群的利用率和资源瓶颈。例如，Ganglia 仪表板可以快速揭示特定的工作负载是磁盘受限、网络受限还是 CPU 受限。
• 操作系统性能分析工具（如 dstat、iostat 和 iotop）可以对单个节点进行细粒度的性能分析。
• JVM 实用程序（如用于提供堆栈跟踪的 jstack、用于创建堆转储的 jmap、用于报告时间序列统计信息的 jstat 以及用于可视化探索各种 JVM 属性的 jconsole）对于熟悉 JVM 内部原理的人员非常有用。

Spark 还提供了一个插件 API，以便将自定义测量代码添加到 Spark 应用程序中。有两个配置键可用于将插件加载到 Spark 中：

• spark.plugins
• spark.plugins.defaultList

两者都接受以逗号分隔的类名列表，这些类实现 org.apache.spark.api.plugin.SparkPlugin 接口。存在这两个名称是为了使一个列表可以放置在 Spark 默认配置文件中，从而允许用户轻松地从命令行添加其他插件，而无需覆盖配置文件的列表。重复的插件会被忽略。