监控与仪表盘

• Web 界面
  • 事后查看
    • 环境变量
    • 对滚动事件日志文件应用压缩
    • Spark History Server 配置选项
  • REST API
    • 执行器任务指标
    • 执行器指标
    • API 版本控制策略
• 指标
  • 可用指标提供程序列表
    • 组件实例 = 驱动程序
    • 组件实例 = 执行器
    • 来源 = JVM 来源
    • 组件实例 = applicationMaster
    • 组件实例 = mesos_cluster
    • 组件实例 = 主节点
    • 组件实例 = ApplicationSource
    • 组件实例 = 工作节点
    • 组件实例 = shuffleService
• 高级仪表盘

有几种方法可以监控 Spark 应用程序：Web UI、指标和外部仪表盘。

Web 界面

每个 SparkContext 都会启动一个 Web UI，默认情况下在端口 4040 上，它会显示有关应用程序的有用信息。这包括

• 调度程序阶段和任务的列表
• RDD 大小和内存使用情况的摘要
• 环境信息。
• 有关正在运行的执行器的信息

您只需在 Web 浏览器中打开 http://<driver-node>:4040 即可访问此界面。如果同一主机上运行多个 SparkContext，它们将绑定到从 4040 开始的连续端口（4041、4042 等）。

请注意，默认情况下，此信息仅在应用程序运行期间可用。要事后查看 Web UI，请在启动应用程序之前将 spark.eventLog.enabled 设置为 true。这会配置 Spark 将 Spark 事件记录到持久存储中，这些事件编码了 UI 中显示的信息。

事后查看

只要应用程序的事件日志存在，仍然可以通过 Spark 的历史服务器构建应用程序的 UI。您可以通过执行以下操作启动历史服务器

./sbin/start-history-server.sh

这将在 http://<server-url>:18080（默认情况下）创建一个 Web 界面，列出未完成和已完成的应用程序和尝试。

当使用文件系统提供程序类时（请参阅下面的 spark.history.provider），必须在 spark.history.fs.logDirectory 配置选项中提供基本日志目录，并且该目录应包含表示每个应用程序事件日志的子目录。

Spark 作业本身必须配置为记录事件，并将其记录到同一个共享的可写目录中。例如，如果服务器配置的日志目录为 hdfs://namenode/shared/spark-logs，则客户端选项将为

spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs

历史服务器可以按如下方式配置

环境变量

对滚动事件日志文件应用压缩

长时间运行的应用程序（例如流式处理）可能会产生一个巨大的单个事件日志文件，这可能会导致维护成本很高，并且每次在 Spark History Server 中更新时都需要大量资源来回放。

启用 spark.eventLog.rolling.enabled 和 spark.eventLog.rolling.maxFileSize 将使您拥有滚动事件日志文件，而不是单个巨大的事件日志文件，这可能在某些情况下本身就能有所帮助，但它仍然无法帮助您减少日志的总体大小。

Spark History Server 可以通过在 Spark History Server 上设置配置 spark.history.fs.eventLog.rolling.maxFilesToRetain，对滚动事件日志文件应用压缩，以减少日志的总体大小。

下面将详细介绍，但请注意，压缩是**有损**操作。压缩将丢弃一些事件，这些事件将不再在 UI 上显示 - 您可能需要在启用此选项之前检查哪些事件将被丢弃。

当压缩发生时，History Server 会列出应用程序的所有可用事件日志文件，并将索引小于将保留的具有最小索引的文件的事件日志文件视为压缩目标。例如，如果应用程序 A 有 5 个事件日志文件，并且 spark.history.fs.eventLog.rolling.maxFilesToRetain 设置为 2，则前 3 个日志文件将被选中进行压缩。

一旦它选择了目标，它就会分析它们以确定哪些事件可以被排除，并将它们重新写入一个压缩文件，同时丢弃决定要排除的事件。

压缩尝试排除指向过时数据的事件。截至目前，以下是将被排除的事件的候选者

• 已完成作业的事件以及相关的阶段/任务事件
• 已终止执行器的事件
• 已完成的 SQL 执行的事件以及相关的作业/阶段/任务事件

重写完成后，将以尽力而为的方式删除原始日志文件。History Server 可能无法删除原始日志文件，但这不会影响 History Server 的操作。

请注意，如果 Spark History Server 发现压缩期间不会减少太多空间，则它可能不会压缩旧的事件日志文件。对于流式查询，我们通常期望压缩在每个微批次触发一个或多个作业时运行，这些作业很快就会完成，但在许多情况下，批处理查询不会运行压缩。

另请注意，这是 Spark 3.0 中引入的一项新功能，可能还不完全稳定。在某些情况下，压缩可能会排除比您预期的更多事件，从而导致 History Server 上的应用程序出现一些 UI 问题。请谨慎使用。

Spark History Server 配置选项

有关 Spark History Server 的安全选项的更多详细信息，请参阅 安全 页面。

请注意，在所有这些 UI 中，表格可以通过单击其标题进行排序，从而可以轻松识别缓慢的任务、数据倾斜等。

注意

1. 历史服务器显示已完成和未完成的 Spark 作业。如果应用程序在失败后进行多次尝试，则将显示失败的尝试，以及任何正在进行的未完成尝试或最终成功的尝试。

2. 不完整的应用程序仅间歇性更新。更新之间的时间间隔由检查更改文件的间隔定义（spark.history.fs.update.interval）。在较大的集群中，更新间隔可能设置为较大的值。查看正在运行的应用程序的方法实际上是查看其自己的 Web UI。

3. 退出而未将其自身注册为已完成的应用程序将被列为不完整，即使它们不再运行。如果应用程序崩溃，可能会发生这种情况。

4. 指示 Spark 作业完成的一种方法是显式停止 Spark 上下文（sc.stop()），或在 Python 中使用 with SparkContext() as sc: 结构来处理 Spark 上下文的设置和拆卸。

REST API

除了在 UI 中查看指标外，它们还可以作为 JSON 获取。这为开发人员提供了一种简单的方法来创建新的可视化和监控工具以用于 Spark。JSON 可用于运行的应用程序和历史服务器。端点安装在 /api/v1 上。例如，对于历史服务器，它们通常可以在 http://<server-url>:18080/api/v1 访问，对于正在运行的应用程序，则可以在 http://localhost:4040/api/v1 访问。

在 API 中，应用程序通过其应用程序 ID [app-id] 引用。在 YARN 上运行时，每个应用程序可能有多次尝试，但只有集群模式下的应用程序才有尝试 ID，客户端模式下的应用程序没有。YARN 集群模式下的应用程序可以通过其 [attempt-id] 识别。在下面列出的 API 中，在 YARN 集群模式下运行时，[app-id] 实际上将是 [base-app-id]/[attempt-id]，其中 [base-app-id] 是 YARN 应用程序 ID。

可检索的作业和阶段数量受限于独立 Spark UI 的相同保留机制；"spark.ui.retainedJobs" 定义了触发作业垃圾回收的阈值，而 spark.ui.retainedStages 定义了阶段的阈值。请注意，垃圾回收在回放时进行：可以通过增加这些值并重新启动历史服务器来检索更多条目。

执行器任务指标

REST API 公开了 Spark 执行器收集的任务指标的值，其粒度为任务执行。这些指标可用于性能故障排除和工作负载特征分析。以下是可用指标的列表，以及简短的描述

执行器指标

执行器级指标从每个执行器发送到驱动程序，作为心跳的一部分，以描述执行器本身的性能指标，例如 JVM 堆内存、GC 信息。执行器指标值及其在每个执行器的测量内存峰值值通过 REST API 以 JSON 格式和 Prometheus 格式公开。JSON 端点在以下位置公开：/applications/[app-id]/executors，Prometheus 端点在以下位置公开：/metrics/executors/prometheus。Prometheus 端点取决于配置参数：spark.ui.prometheus.enabled=true（默认值为 false）。此外，如果 spark.eventLog.logStageExecutorMetrics 为 true，则执行器内存指标的每个阶段峰值值将被写入事件日志。执行器内存指标还通过基于 Dropwizard 指标库 的 Spark 指标系统公开。以下是可用指标的列表，以及简短的描述

RSS 和 Vmem 的计算基于 proc(5)

API 版本控制策略

这些端点已进行严格的版本控制，以便更轻松地在端点之上开发应用程序。特别是，Spark 保证

• 端点永远不会从一个版本中删除
• 对于任何给定的端点，单个字段永远不会被删除
• 可以添加新的端点
• 可以向现有端点添加新字段
• 将来可能会添加新版本的 API 作为单独的端点（例如，api/v2）。新版本不需要向后兼容。
• API 版本可能会被删除，但只有在与新 API 版本共存至少一个次要版本之后才会删除。

请注意，即使在检查正在运行的应用程序的 UI 时，applications/[app-id] 部分仍然是必需的，尽管只有一个应用程序可用。例如，要查看正在运行的应用程序的作业列表，您需要访问 http://localhost:4040/api/v1/applications/[app-id]/jobs。这样做是为了使两种模式下的路径保持一致。

指标

Spark 具有基于 Dropwizard Metrics 库 的可配置指标系统。这允许用户将 Spark 指标报告到各种接收器，包括 HTTP、JMX 和 CSV 文件。指标由嵌入 Spark 代码库中的源生成。它们为特定活动和 Spark 组件提供检测。指标系统通过一个配置文件进行配置，Spark 期望该配置文件位于 $SPARK_HOME/conf/metrics.properties。可以使用 spark.metrics.conf 配置属性 指定自定义文件位置。除了使用配置文件之外，还可以使用一组以 spark.metrics.conf. 为前缀的配置参数。默认情况下，用于驱动程序或执行器指标的根命名空间是 spark.app.id 的值。但是，用户通常希望能够跨应用程序跟踪驱动程序和执行器的指标，这使用应用程序 ID（即 spark.app.id）很难做到，因为应用程序 ID 会随着每次调用应用程序而改变。对于此类用例，可以使用 spark.metrics.namespace 配置属性为指标报告指定自定义命名空间。例如，如果用户希望将指标命名空间设置为应用程序的名称，他们可以将 spark.metrics.namespace 属性设置为类似于 ${spark.app.name} 的值。然后，Spark 会适当地扩展此值，并将其用作指标系统的根命名空间。非驱动程序和执行器指标永远不会以 spark.app.id 为前缀，spark.metrics.namespace 属性也不会对这些指标产生任何影响。

Spark 的指标被解耦成不同的实例，对应于 Spark 组件。在每个实例中，您可以配置一组将指标报告到的接收器。接收器包含在 org.apache.spark.metrics.sink 包中

• master：Spark 独立主进程。
• applications：主进程中报告各种应用程序的组件。
• worker：Spark 独立工作进程。
• executor：Spark 执行器。
• driver：Spark 驱动程序进程（创建 SparkContext 的进程）。
• shuffleService：Spark shuffle 服务。
• applicationMaster：在 YARN 上运行时的 Spark ApplicationMaster。
• mesos_cluster：在 Mesos 上运行时的 Spark 集群调度程序。

每个实例都可以报告到零个或多个接收器。接收器包含在 org.apache.spark.metrics.sink 包中

• ConsoleSink：将指标信息记录到控制台。
• CSVSink：定期将指标数据导出到 CSV 文件。
• JmxSink：注册指标以便在 JMX 控制台中查看。
• MetricsServlet：在现有的 Spark UI 中添加一个 servlet，以 JSON 数据形式提供指标数据。
• PrometheusServlet：（实验性）在现有的 Spark UI 中添加一个 servlet，以 Prometheus 格式提供指标数据。
• GraphiteSink：将指标发送到 Graphite 节点。
• Slf4jSink：将指标作为日志条目发送到 slf4j。
• StatsdSink：将指标发送到 StatsD 节点。

Spark 还支持 Ganglia 接收器，但由于许可限制，它未包含在默认构建中

• GangliaSink：将指标发送到 Ganglia 节点或组播组。

要安装 GangliaSink，您需要执行 Spark 的自定义构建。请注意，通过嵌入此库，您将在 Spark 包中包含 LGPL 许可的代码。对于 sbt 用户，在构建之前设置 SPARK_GANGLIA_LGPL 环境变量。对于 Maven 用户，启用 -Pspark-ganglia-lgpl 配置文件。除了修改集群的 Spark 构建之外，用户应用程序还需要链接到 spark-ganglia-lgpl 工件。

指标配置文件的语法以及每个接收器可用的参数在示例配置文件 $SPARK_HOME/conf/metrics.properties.template 中定义。

当使用 Spark 配置参数而不是指标配置文件时，相关参数名称由前缀 spark.metrics.conf. 以及配置详细信息组成，即参数采用以下形式：spark.metrics.conf.[instance|*].sink.[sink_name].[parameter_name]。此示例显示了 Graphite 接收器的 Spark 配置参数列表

"spark.metrics.conf.*.sink.graphite.class"="org.apache.spark.metrics.sink.GraphiteSink"
"spark.metrics.conf.*.sink.graphite.host"="graphiteEndPoint_hostName>"
"spark.metrics.conf.*.sink.graphite.port"=<graphite_listening_port>
"spark.metrics.conf.*.sink.graphite.period"=10
"spark.metrics.conf.*.sink.graphite.unit"=seconds
"spark.metrics.conf.*.sink.graphite.prefix"="optional_prefix"
"spark.metrics.conf.*.sink.graphite.regex"="optional_regex_to_send_matching_metrics"

Spark 指标配置的默认值如下

"*.sink.servlet.class" = "org.apache.spark.metrics.sink.MetricsServlet"
"*.sink.servlet.path" = "/metrics/json"
"master.sink.servlet.path" = "/metrics/master/json"
"applications.sink.servlet.path" = "/metrics/applications/json"

可以使用指标配置文件或配置参数 spark.metrics.conf.[component_name].source.jvm.class=[source_name] 配置其他源。目前，JVM 源是唯一可用的可选源。例如，以下配置参数激活了 JVM 源："spark.metrics.conf.*.source.jvm.class"="org.apache.spark.metrics.source.JvmSource"

可用指标提供程序列表

Spark 使用的指标有多种类型：gauge、counter、histogram、meter 和 timer，有关详细信息，请参阅 Dropwizard 库文档。以下组件和指标列表报告了可用指标的名称和一些详细信息，按组件实例和源命名空间分组。Spark 检测中最常用的指标类型是 gauge 和 counter。counter 可以通过它们的后缀 .count 来识别。timer、meter 和 histogram 在列表中进行了注释，列表中的其余元素是 gauge 类型的指标。绝大多数指标在其父组件实例配置后立即生效，某些指标还需要通过其他配置参数启用，详细信息在列表中报告。

组件实例 = 驱动程序

这是具有大量检测指标的组件

• namespace=BlockManager
  • disk.diskSpaceUsed_MB
  • memory.maxMem_MB
  • memory.maxOffHeapMem_MB
  • memory.maxOnHeapMem_MB
  • memory.memUsed_MB
  • memory.offHeapMemUsed_MB
  • memory.onHeapMemUsed_MB
  • memory.remainingMem_MB
  • memory.remainingOffHeapMem_MB
  • memory.remainingOnHeapMem_MB
• namespace=HiveExternalCatalog
  • 注意：这些指标取决于配置参数：spark.metrics.staticSources.enabled（默认值为 true）
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• namespace=CodeGenerator
  • 注意：这些指标取决于配置参数：spark.metrics.staticSources.enabled（默认值为 true）
  • compilationTime (histogram)
  • generatedClassSize (histogram)
  • generatedMethodSize (histogram)
  • sourceCodeSize (histogram)
• namespace=DAGScheduler
  • job.activeJobs
  • job.allJobs
  • messageProcessingTime (timer)
  • stage.failedStages
  • stage.runningStages
  • stage.waitingStages
• namespace=LiveListenerBus
  • listenerProcessingTime.org.apache.spark.HeartbeatReceiver (timer)
  • listenerProcessingTime.org.apache.spark.scheduler.EventLoggingListener (timer)
  • listenerProcessingTime.org.apache.spark.status.AppStatusListener (timer)
  • numEventsPosted.count
  • queue.appStatus.listenerProcessingTime (timer)
  • queue.appStatus.numDroppedEvents.count
  • queue.appStatus.size
  • queue.eventLog.listenerProcessingTime (timer)
  • queue.eventLog.numDroppedEvents.count
  • queue.eventLog.size
  • queue.executorManagement.listenerProcessingTime (timer)
• namespace=appStatus (所有指标类型为=counter)
  • 注意：在 Spark 3.0 中引入。取决于配置参数：spark.metrics.appStatusSource.enabled（默认值为 false）
  • stages.failedStages.count
  • stages.skippedStages.count
  • stages.completedStages.count
  • tasks.blackListedExecutors.count // 已弃用，请改用 excludedExecutors
  • tasks.excludedExecutors.count
  • tasks.completedTasks.count
  • tasks.failedTasks.count
  • tasks.killedTasks.count
  • tasks.skippedTasks.count
  • tasks.unblackListedExecutors.count // 已弃用，请改用 unexcludedExecutors
  • tasks.unexcludedExecutors.count
  • jobs.succeededJobs
  • jobs.failedJobs
  • jobDuration
• namespace=AccumulatorSource
  • 注意：用户可配置的源，用于将累加器附加到指标系统
  • DoubleAccumulatorSource
  • LongAccumulatorSource
• namespace=spark.streaming
  • 注意：这仅适用于 Spark 结构化流。取决于配置参数：spark.sql.streaming.metricsEnabled=true（默认值为 false）
  • eventTime-watermark
  • inputRate-total
  • latency
  • processingRate-total
  • states-rowsTotal
  • states-usedBytes
• namespace=JVMCPU
  • jvmCpuTime
• namespace=executor
  • 注意：这些指标仅在本地模式下在驱动程序中可用。
  • 可以在执行器组件实例的相应条目中找到此命名空间中可用指标的完整列表。
• namespace=ExecutorMetrics
  • 注意：这些指标取决于配置参数：spark.metrics.executorMetricsSource.enabled（默认值为 true）
  • 此源包含与内存相关的指标。可以在执行器组件实例的相应条目中找到此命名空间中可用指标的完整列表。
• namespace=ExecutorAllocationManager
  • 注意：这些指标仅在使用动态分配时发出。取决于配置参数 spark.dynamicAllocation.enabled（默认值为 false）
  • executors.numberExecutorsToAdd
  • executors.numberExecutorsPendingToRemove
  • executors.numberAllExecutors
  • executors.numberTargetExecutors
  • executors.numberMaxNeededExecutors
  • executors.numberDecommissioningExecutors
  • executors.numberExecutorsGracefullyDecommissioned.count
  • executors.numberExecutorsDecommissionUnfinished.count
  • executors.numberExecutorsExitedUnexpectedly.count
  • executors.numberExecutorsKilledByDriver.count
• namespace=plugin.<插件类名>
  • 可选命名空间。此命名空间中的指标由用户提供的代码定义，并使用 Spark 插件 API 配置。有关如何将自定义插件加载到 Spark 中的信息，请参见下面的“高级仪表盘”。

组件实例 = 执行器

这些指标由 Spark 执行器公开。

• namespace=executor（指标类型为计数器或量规）
  • 备注
    • spark.executor.metrics.fileSystemSchemes（默认值：file,hdfs）确定公开的文件系统指标。
  • bytesRead.count
  • bytesWritten.count
  • cpuTime.count
  • deserializeCpuTime.count
  • deserializeTime.count
  • diskBytesSpilled.count
  • filesystem.file.largeRead_ops
  • filesystem.file.read_bytes
  • filesystem.file.read_ops
  • filesystem.file.write_bytes
  • filesystem.file.write_ops
  • filesystem.hdfs.largeRead_ops
  • filesystem.hdfs.read_bytes
  • filesystem.hdfs.read_ops
  • filesystem.hdfs.write_bytes
  • filesystem.hdfs.write_ops
  • jvmGCTime.count
  • memoryBytesSpilled.count
  • recordsRead.count
  • recordsWritten.count
  • resultSerializationTime.count
  • resultSize.count
  • runTime.count
  • shuffleBytesWritten.count
  • shuffleFetchWaitTime.count
  • shuffleLocalBlocksFetched.count
  • shuffleLocalBytesRead.count
  • shuffleRecordsRead.count
  • shuffleRecordsWritten.count
  • shuffleRemoteBlocksFetched.count
  • shuffleRemoteBytesRead.count
  • shuffleRemoteBytesReadToDisk.count
  • shuffleTotalBytesRead.count
  • shuffleWriteTime.count
  • succeededTasks.count
  • threadpool.activeTasks
  • threadpool.completeTasks
  • threadpool.currentPool_size
  • threadpool.maxPool_size
  • threadpool.startedTasks
• namespace=ExecutorMetrics
  • 备注
    • 这些指标取决于一个配置参数：spark.metrics.executorMetricsSource.enabled（默认值为 true）
    • ExecutorMetrics 作为执行器和驱动程序定期安排的心跳过程的一部分进行更新：spark.executor.heartbeatInterval（默认值为 10 秒）
    • 对于执行器内存指标，可以使用可选的更快轮询机制，可以通过使用配置参数 spark.executor.metrics.pollingInterval 设置轮询间隔（以毫秒为单位）来激活它。
  • JVMHeapMemory
  • JVMOffHeapMemory
  • OnHeapExecutionMemory
  • OnHeapStorageMemory
  • OnHeapUnifiedMemory
  • OffHeapExecutionMemory
  • OffHeapStorageMemory
  • OffHeapUnifiedMemory
  • DirectPoolMemory
  • MappedPoolMemory
  • MinorGCCount
  • MinorGCTime
  • MajorGCCount
  • MajorGCTime
  • “ProcessTree*” 指标计数器
    • ProcessTreeJVMVMemory
    • ProcessTreeJVMRSSMemory
    • ProcessTreePythonVMemory
    • ProcessTreePythonRSSMemory
    • ProcessTreeOtherVMemory
    • ProcessTreeOtherRSSMemory
    • 注意：“ProcessTree*” 指标仅在某些条件下收集。这些条件是以下条件的逻辑 AND：/proc 文件系统存在，spark.executor.processTreeMetrics.enabled=true。“ProcessTree*” 指标在未满足这些条件时报告 0。
• namespace=JVMCPU
  • jvmCpuTime
• namespace=NettyBlockTransfer
  • shuffle-client.usedDirectMemory
  • shuffle-client.usedHeapMemory
  • shuffle-server.usedDirectMemory
  • shuffle-server.usedHeapMemory
• namespace=HiveExternalCatalog
  • 注意：这些指标取决于配置参数：spark.metrics.staticSources.enabled（默认值为 true）
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• namespace=CodeGenerator
  • 注意：这些指标取决于配置参数：spark.metrics.staticSources.enabled（默认值为 true）
  • compilationTime (histogram)
  • generatedClassSize (histogram)
  • generatedMethodSize (histogram)
  • sourceCodeSize (histogram)
• namespace=plugin.<插件类名>
  • 可选命名空间。此命名空间中的指标由用户提供的代码定义，并使用 Spark 插件 API 配置。有关如何将自定义插件加载到 Spark 中的信息，请参见下面的“高级仪表盘”。

来源 = JVM 来源

备注

• 通过设置相关的 metrics.properties 文件条目或配置参数来激活此源：spark.metrics.conf.*.source.jvm.class=org.apache.spark.metrics.source.JvmSource
• 这些指标取决于一个配置参数：spark.metrics.staticSources.enabled（默认值为 true）
• 此源可用于驱动程序和执行器实例，也可用于其他实例。
• 此源使用 Dropwizard/Codahale 用于 JVM 仪表盘的指标集，特别是指标集 BufferPoolMetricSet、GarbageCollectorMetricSet 和 MemoryUsageGaugeSet 提供有关 JVM 指标的信息。

组件实例 = applicationMaster

注意：适用于在 YARN 上运行时

• numContainersPendingAllocate
• numExecutorsFailed
• numExecutorsRunning
• numLocalityAwareTasks
• numReleasedContainers

组件实例 = mesos_cluster

注意：适用于在 Mesos 上运行时

• waitingDrivers
• launchedDrivers
• retryDrivers

组件实例 = 主节点

注意：适用于在 Spark 独立模式下作为主节点运行时

• workers
• aliveWorkers
• apps
• waitingApps

组件实例 = ApplicationSource

注意：适用于在 Spark 独立模式下作为主节点运行时

• status
• runtime_ms
• cores

组件实例 = 工作节点

注意：适用于在 Spark 独立模式下作为工作节点运行时

• executors
• coresUsed
• memUsed_MB
• coresFree
• memFree_MB

组件实例 = shuffleService

注意：适用于混洗服务

• blockTransferRate（仪表盘） - 块传输速率
• blockTransferMessageRate（仪表盘） - 块传输消息速率，即如果启用了批量获取，则表示批次数量而不是块数量
• blockTransferRateBytes（仪表盘）
• blockTransferAvgTime_1min（量规 - 1 分钟移动平均值）
• numActiveConnections.count
• numRegisteredConnections.count
• numCaughtExceptions.count
• openBlockRequestLatencyMillis（直方图）
• registerExecutorRequestLatencyMillis（直方图）
• registeredExecutorsSize
• shuffle-server.usedDirectMemory

• shuffle-server.usedHeapMemory

• 注意：以下指标适用于服务器端配置 spark.shuffle.push.server.mergedShuffleFileManagerImpl 设置为 org.apache.spark.network.shuffle.MergedShuffleFileManager 的基于推送的混洗
• blockBytesWritten - 推送到文件的推送块数据大小（以字节为单位）
• blockAppendCollisions - 在混洗服务中发生冲突的推送混洗块数量，因为正在写入同一减少分区中的另一个块
• lateBlockPushes - 在特定混洗合并完成之后，在混洗服务中接收到的推送混洗块数量
• deferredBlocks - 当前在内存中缓冲的延迟块部分的数量
• deferredBlockBytes - 当前在内存中缓冲的延迟块部分的大小
• staleBlockPushes - 过时的推送混洗块请求数量
• ignoredBlockBytes - 推送到 ESS 但被忽略的推送块数据的大小。当推送块数据被认为被忽略时：1. 它是在混洗完成之后接收到的；2. 当推送请求是针对重复块时；3. ESS 无法写入块。

高级仪表盘

可以使用多种外部工具来帮助分析 Spark 作业的性能

• 集群范围的监控工具（例如 Ganglia）可以提供对整个集群利用率和资源瓶颈的洞察。例如，Ganglia 仪表盘可以快速显示特定工作负载是磁盘绑定、网络绑定还是 CPU 绑定。
• 操作系统分析工具（例如 dstat、iostat 和 iotop）可以提供对单个节点的细粒度分析。
• JVM 工具（例如 jstack 用于提供堆栈跟踪、jmap 用于创建堆转储、jstat 用于报告时间序列统计信息以及 jconsole 用于直观地浏览各种 JVM 属性）对于那些熟悉 JVM 内部结构的人来说非常有用。

Spark 还提供了一个插件 API，以便可以将自定义仪表盘代码添加到 Spark 应用程序中。有两个配置键可用于将插件加载到 Spark 中

• spark.plugins
• spark.plugins.defaultList

两者都采用逗号分隔的类名列表，这些类名实现 org.apache.spark.api.plugin.SparkPlugin 接口。这两个名称的存在是为了使一个列表可以放在 Spark 默认配置文件中，允许用户轻松地从命令行添加其他插件，而不会覆盖配置文件中的列表。重复的插件将被忽略。