监控与检测

• Web 界面
  • 事后查看
    • 环境变量
    • 在滚动事件日志文件上应用压缩
    • Spark 历史服务器配置选项
  • REST API
    • Executor 任务指标
    • Executor 指标
    • API 版本策略
• 指标
  • 可用指标提供程序列表
    • 组件实例 = Driver
    • 组件实例 = Executor
    • 源 = JVM 源
    • 组件实例 = applicationMaster
    • 组件实例 = mesos_cluster
    • 组件实例 = master
    • 组件实例 = ApplicationSource
    • 组件实例 = worker
    • 组件实例 = shuffleService
• 高级检测

有几种方法可以监控 Spark 应用程序：Web UI、指标和外部检测。

Web 界面

每个 SparkContext 默认在端口 4040 上启动一个 Web UI，显示关于应用程序的有用信息。这包括：

• 调度器阶段和任务的列表
• RDD 大小和内存使用的摘要
• 环境信息。
• 关于正在运行的 executors 的信息

您可以通过在 Web 浏览器中简单地打开 http://<driver-node>:4040 来访问此界面。如果多个 SparkContext 在同一主机上运行，它们将绑定到从 4040 开始的连续端口（4041、4042 等）。

请注意，默认情况下，此信息仅在应用程序的运行期间可用。要在事后查看 Web UI，请在启动应用程序之前将 spark.eventLog.enabled 设置为 true。这将配置 Spark 记录 Spark 事件，这些事件将 UI 中显示的信息编码到持久存储中。

事后查看

如果应用程序的事件日志存在，仍然可以通过 Spark 的历史服务器构建应用程序的 UI。您可以通过执行以下命令启动历史服务器：

./sbin/start-history-server.sh

这将在默认情况下于 http://<server-url>:18080 创建一个 Web 界面，列出不完整和已完成的应用程序和尝试。

当使用文件系统提供程序类时（参见下面的 spark.history.provider），必须在 spark.history.fs.logDirectory 配置选项中提供基本日志目录，并且应包含子目录，每个子目录代表一个应用程序的事件日志。

必须将 spark 作业本身配置为记录事件，并将它们记录到同一个共享的、可写的目录。例如，如果服务器配置的日志目录为 hdfs://namenode/shared/spark-logs，那么客户端选项将是：

spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs

可以按如下方式配置历史服务器：

环境变量

在滚动事件日志文件上应用压缩

长时间运行的应用程序（例如流式传输）可能会产生一个巨大的单个事件日志文件，维护成本很高，并且每次在 Spark 历史服务器中更新时都需要大量的资源来重放。

启用 spark.eventLog.rolling.enabled 和 spark.eventLog.rolling.maxFileSize 可以让您拥有滚动事件日志文件，而不是单个巨大的事件日志文件，这可能有助于某些情况，但它仍然无法帮助您减少日志的总体大小。

Spark 历史服务器可以通过在 Spark 历史服务器上设置配置 spark.history.fs.eventLog.rolling.maxFilesToRetain 来对滚动事件日志文件应用压缩，以减少日志的总体大小。

详细信息将在下面描述，但请事先注意压缩是*有损*操作。压缩会丢弃某些事件，这些事件将不再在 UI 上显示 - 您可能需要在启用该选项之前检查哪些事件将被丢弃。

当压缩发生时，历史服务器列出应用程序的所有可用事件日志文件，并将索引小于将保留的具有最小索引的文件的事件日志文件视为压缩的目标。例如，如果应用程序 A 有 5 个事件日志文件，并且 spark.history.fs.eventLog.rolling.maxFilesToRetain 设置为 2，那么将选择前 3 个日志文件进行压缩。

一旦它选择了目标，它就会分析它们以确定哪些事件可以排除，并将它们重写为一个紧凑的文件，并丢弃决定排除的事件。

压缩尝试排除指向过时数据的事件。截至目前，下面描述了要排除的事件的候选对象：

• 已完成的作业的事件以及相关的阶段/任务事件
• 已终止的 executor 的事件
• 已完成的 SQL 执行的事件以及相关的作业/阶段/任务事件

重写完成后，将尽最大努力删除原始日志文件。历史服务器可能无法删除原始日志文件，但这不会影响历史服务器的运行。

请注意，如果 Spark 历史服务器发现压缩期间不会减少太多空间，则可能不会压缩旧的事件日志文件。对于流式查询，我们通常期望压缩会运行，因为每个微批次都会触发一个或多个很快完成的作业，但在许多情况下，压缩不会针对批处理查询运行。

另请注意，这是 Spark 3.0 中引入的一项新功能，可能并不完全稳定。在某些情况下，压缩可能会排除比您预期的更多的事件，从而导致应用程序的历史服务器上出现一些 UI 问题。请谨慎使用。

Spark 历史服务器配置选项

Spark 历史服务器的安全选项在 安全 页面中有更详细的介绍。

请注意，在所有这些 UI 中，都可以通过单击其标题对表格进行排序，从而可以轻松识别缓慢的任务、数据倾斜等。

注意

1. History Server 显示已完成和未完成的 Spark 作业。 如果应用程序在失败后进行了多次尝试，则将显示失败的尝试，以及任何正在进行的未完成尝试或最终成功的尝试。

2. 未完成的应用程序仅间歇性地更新。 更新之间的时间由检查已更改文件的间隔（spark.history.fs.update.interval）定义。 在较大的集群上，更新间隔可以设置为较大的值。 查看正在运行的应用程序的方式实际上是查看其自己的 Web UI。

3. 未注册为已完成而退出的应用程序将被列为未完成 - 即使它们不再运行。 如果应用程序崩溃，可能会发生这种情况。

4. 发出 Spark 作业完成信号的一种方法是显式停止 Spark Context (sc.stop())，或者在 Python 中使用 with SparkContext() as sc: 构造来处理 Spark Context 的设置和拆卸。

REST API

除了在 UI 中查看指标外，它们也可以作为 JSON 使用。 这使开发人员可以轻松地为 Spark 创建新的可视化和监控工具。 JSON 可用于正在运行的应用程序和 History Server。 端点安装在 /api/v1。 例如，对于 History Server，它们通常可以在 http://<server-url>:18080/api/v1 访问，对于正在运行的应用程序，则可以在 http://localhost:4040/api/v1 访问。

在 API 中，应用程序由其应用程序 ID [app-id] 引用。 在 YARN 上运行时，每个应用程序可能有多次尝试，但只有在集群模式下的应用程序才有尝试 ID，客户端模式下的应用程序没有。 YARN 集群模式下的应用程序可以通过其 [attempt-id] 识别。 在下面列出的 API 中，在 YARN 集群模式下运行时，[app-id] 实际上是 [base-app-id]/[attempt-id]，其中 [base-app-id] 是 YARN 应用程序 ID。

可以检索的作业和阶段的数量受到独立 Spark UI 相同保留机制的约束；"spark.ui.retainedJobs" 定义了触发作业垃圾回收的阈值，而 spark.ui.retainedStages 定义了阶段的阈值。 请注意，垃圾回收发生在回放时：可以通过增加这些值并重新启动历史服务器来检索更多条目。

Executor 任务指标

REST API 公开了 Spark 执行器收集的任务指标值，粒度为任务执行。 这些指标可用于性能故障排除和工作负载特征分析。 提供指标列表，以及简短说明

Executor 指标

执行器级别的指标作为 Heartbeat 的一部分从每个执行器发送到驱动程序，以描述执行器本身的性能指标，例如 JVM 堆内存、GC 信息。 执行器指标值及其每个执行器的测量内存峰值通过 JSON 格式和 Prometheus 格式的 REST API 公开。 JSON 端点在：/applications/[app-id]/executors 公开，Prometheus 端点在：/metrics/executors/prometheus 公开。 Prometheus 端点受配置参数的约束：spark.ui.prometheus.enabled=true（默认为 false）。 此外，如果 spark.eventLog.logStageExecutorMetrics 为 true，则执行器内存指标的每个阶段的聚合峰值将写入事件日志。 执行器内存指标也通过基于 Dropwizard metrics library 的 Spark 指标系统公开。 提供指标列表，以及简短说明

RSS 和 Vmem 的计算基于 proc(5)

API 版本策略

这些端点已经过强版本控制，以便更容易地在其之上开发应用程序。 特别是，Spark 保证：

• 端点永远不会从一个版本中删除
• 对于任何给定的端点，单个字段永远不会被删除
• 可以添加新的端点
• 可以向现有端点添加新的字段
• 未来可能会添加新的 API 版本，作为单独的端点（例如，api/v2）。 新版本不要求向后兼容。
• API 版本可能会被删除，但只有在新 API 版本共存至少一个小的版本之后。

请注意，即使在检查正在运行的应用程序的 UI 时，仍然需要 applications/[app-id] 部分，尽管只有一个应用程序可用。 例如，要查看正在运行的应用程序的作业列表，您需要访问 http://localhost:4040/api/v1/applications/[app-id]/jobs。 这是为了保持两种模式下的路径一致。

指标

Spark 具有基于 Dropwizard Metrics Library 的可配置指标系统。 这允许用户将 Spark 指标报告给各种接收器，包括 HTTP、JMX 和 CSV 文件。 这些指标由嵌入在 Spark 代码库中的源生成。 它们为特定的活动和 Spark 组件提供检测。 指标系统通过配置文件进行配置，Spark 期望该文件位于 $SPARK_HOME/conf/metrics.properties。 可以通过 spark.metrics.conf 配置属性 指定自定义文件位置。 可以不使用配置文件，而使用带有前缀 spark.metrics.conf. 的一组配置参数。 默认情况下，用于驱动程序或执行程序指标的根命名空间是 spark.app.id 的值。 但是，通常用户希望能够跨驱动程序和执行程序的应用程序跟踪指标，这使用应用程序 ID (即 spark.app.id) 很难做到，因为它随着应用程序的每次调用而变化。 对于此类用例，可以使用 spark.metrics.namespace 配置属性为指标报告指定自定义命名空间。 例如，如果用户希望将指标命名空间设置为应用程序的名称，他们可以将 spark.metrics.namespace 属性设置为类似 ${spark.app.name} 的值。 然后，该值由 Spark 适当地展开，并用作指标系统的根命名空间。 非驱动程序和执行程序指标永远不会以 spark.app.id 为前缀，并且 spark.metrics.namespace 属性对此类指标没有任何影响。

Spark 的指标被分解为与 Spark 组件相对应的不同实例。 在每个实例中，您可以配置一组接收器，指标将报告给这些接收器。 当前支持以下实例：

• master：Spark 独立主进程。
• applications：主进程中的一个组件，用于报告各种应用程序。
• worker：Spark 独立工作进程。
• executor：Spark 执行程序。
• driver：Spark 驱动程序进程（在其中创建 SparkContext 的进程）。
• shuffleService：Spark Shuffle 服务。
• applicationMaster：在 YARN 上运行时的 Spark ApplicationMaster。
• mesos_cluster：在 Mesos 上运行时的 Spark 集群调度程序。

每个实例都可以报告给零个或多个接收器。 接收器包含在 org.apache.spark.metrics.sink 包中：

• ConsoleSink：将指标信息记录到控制台。
• CSVSink：定期将指标数据导出到 CSV 文件。
• JmxSink：注册指标以在 JMX 控制台中查看。
• MetricsServlet：在现有的 Spark UI 中添加一个 servlet，以将指标数据作为 JSON 数据提供。
• PrometheusServlet：（实验性的）在现有的 Spark UI 中添加一个 servlet，以 Prometheus 格式提供指标数据。
• GraphiteSink：将指标发送到 Graphite 节点。
• Slf4jSink：将指标作为日志条目发送到 slf4j。
• StatsdSink：将指标发送到 StatsD 节点。

Spark 还支持 Ganglia 接收器，但由于许可限制，未包含在默认构建中。

• GangliaSink：将指标发送到 Ganglia 节点或多播组。

要安装 GangliaSink，您需要执行 Spark 的自定义构建。 请注意，通过嵌入此库，您将在 Spark 包中包含 LGPL 许可的代码。 对于 sbt 用户，请在构建之前设置 SPARK_GANGLIA_LGPL 环境变量。 对于 Maven 用户，请启用 -Pspark-ganglia-lgpl 配置文件。 除了修改集群的 Spark 构建之外，用户应用程序还需要链接到 spark-ganglia-lgpl 工件。

指标配置文件的语法以及每个接收器可用的参数在示例配置文件 $SPARK_HOME/conf/metrics.properties.template 中定义。

当使用 Spark 配置参数而不是指标配置文件时，相关的参数名称由前缀 spark.metrics.conf. 后跟配置详细信息组成，即参数采用以下形式： spark.metrics.conf.[instance|*].sink.[sink_name].[parameter_name]。 此示例显示了 Graphite 接收器的 Spark 配置参数列表：

"spark.metrics.conf.*.sink.graphite.class"="org.apache.spark.metrics.sink.GraphiteSink"
"spark.metrics.conf.*.sink.graphite.host"="graphiteEndPoint_hostName>"
"spark.metrics.conf.*.sink.graphite.port"=<graphite_listening_port>
"spark.metrics.conf.*.sink.graphite.period"=10
"spark.metrics.conf.*.sink.graphite.unit"=seconds
"spark.metrics.conf.*.sink.graphite.prefix"="optional_prefix"
"spark.metrics.conf.*.sink.graphite.regex"="optional_regex_to_send_matching_metrics"

Spark 指标配置的默认值如下：

"*.sink.servlet.class" = "org.apache.spark.metrics.sink.MetricsServlet"
"*.sink.servlet.path" = "/metrics/json"
"master.sink.servlet.path" = "/metrics/master/json"
"applications.sink.servlet.path" = "/metrics/applications/json"

可以使用指标配置文件或配置参数 spark.metrics.conf.[component_name].source.jvm.class=[source_name] 配置其他源。 目前，JVM 源是唯一可用的可选源。 例如，以下配置参数激活 JVM 源： "spark.metrics.conf.*.source.jvm.class"="org.apache.spark.metrics.source.JvmSource"

可用指标提供程序列表

Spark 使用的指标有多种类型：gauge、counter、histogram、meter 和 timer，有关详细信息，请参见 Dropwizard 库文档。 以下组件和指标列表报告了名称以及有关可用指标的一些详细信息，并按组件实例和源命名空间进行分组。 Spark 检测中最常见的指标类型是 gauge 和 counter。 Counter 可以识别为它们具有 .count 后缀。 timer、meter 和 histogram 在列表中进行了注释，列表的其余元素是 gauge 类型的指标。 大多数指标在其父组件实例配置后立即处于活动状态，某些指标还需要通过其他配置参数启用，详细信息在列表中报告。

组件实例 = Driver

这是具有最多检测指标的组件。

• namespace=BlockManager
  • disk.diskSpaceUsed_MB
  • memory.maxMem_MB
  • memory.maxOffHeapMem_MB
  • memory.maxOnHeapMem_MB
  • memory.memUsed_MB
  • memory.offHeapMemUsed_MB
  • memory.onHeapMemUsed_MB
  • memory.remainingMem_MB
  • memory.remainingOffHeapMem_MB
  • memory.remainingOnHeapMem_MB
• namespace=HiveExternalCatalog
  • 注意：这些指标取决于配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• namespace=CodeGenerator
  • 注意：这些指标取决于配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • compilationTime（histogram）
  • generatedClassSize（histogram）
  • generatedMethodSize（histogram）
  • sourceCodeSize（histogram）
• namespace=DAGScheduler
  • job.activeJobs
  • job.allJobs
  • messageProcessingTime（timer）
  • stage.failedStages
  • stage.runningStages
  • stage.waitingStages
• namespace=LiveListenerBus
  • listenerProcessingTime.org.apache.spark.HeartbeatReceiver（timer）
  • listenerProcessingTime.org.apache.spark.scheduler.EventLoggingListener（timer）
  • listenerProcessingTime.org.apache.spark.status.AppStatusListener（timer）
  • numEventsPosted.count
  • queue.appStatus.listenerProcessingTime（timer）
  • queue.appStatus.numDroppedEvents.count
  • queue.appStatus.size
  • queue.eventLog.listenerProcessingTime（timer）
  • queue.eventLog.numDroppedEvents.count
  • queue.eventLog.size
  • queue.executorManagement.listenerProcessingTime（timer）
• namespace=appStatus（所有指标的类型=counter）
  • 注意：在 Spark 3.0 中引入。取决于配置参数：spark.metrics.appStatusSource.enabled（默认为 false）
  • stages.failedStages.count
  • stages.skippedStages.count
  • stages.completedStages.count
  • tasks.blackListedExecutors.count // 已弃用，请改用 excludedExecutors
  • tasks.excludedExecutors.count
  • tasks.completedTasks.count
  • tasks.failedTasks.count
  • tasks.killedTasks.count
  • tasks.skippedTasks.count
  • tasks.unblackListedExecutors.count // 已弃用，请改用 unexcludedExecutors
  • tasks.unexcludedExecutors.count
  • jobs.succeededJobs
  • jobs.failedJobs
  • jobDuration
• namespace=AccumulatorSource
  • 注意：用户可配置的源，用于将累加器附加到指标系统
  • DoubleAccumulatorSource
  • LongAccumulatorSource
• namespace=spark.streaming
  • 注意：这仅适用于 Spark 结构化流。取决于配置参数：spark.sql.streaming.metricsEnabled=true（默认为 false）
  • eventTime-watermark
  • inputRate-total
  • latency
  • processingRate-total
  • states-rowsTotal
  • states-usedBytes
• namespace=JVMCPU
  • jvmCpuTime
• namespace=executor
  • 注意：这些指标仅在本地模式下的驱动程序中可用。
  • 在此命名空间中可用指标的完整列表可以在 Executor 组件实例的相应条目中找到。
• namespace=ExecutorMetrics
  • 注意：这些指标取决于配置参数：spark.metrics.executorMetricsSource.enabled（默认为 true）
  • 此源包含与内存相关的指标。 在此命名空间中可用指标的完整列表可以在 Executor 组件实例的相应条目中找到。
• namespace=ExecutorAllocationManager
  • 注意：只有在使用动态分配时才会发出这些指标。 取决于配置参数 spark.dynamicAllocation.enabled（默认为 false）
  • executors.numberExecutorsToAdd
  • executors.numberExecutorsPendingToRemove
  • executors.numberAllExecutors
  • executors.numberTargetExecutors
  • executors.numberMaxNeededExecutors
  • executors.numberDecommissioningExecutors
  • executors.numberExecutorsGracefullyDecommissioned.count
  • executors.numberExecutorsDecommissionUnfinished.count
  • executors.numberExecutorsExitedUnexpectedly.count
  • executors.numberExecutorsKilledByDriver.count
• namespace=plugin.<插件类名>
  • 可选的命名空间。此命名空间中的指标由用户提供的代码定义，并使用 Spark 插件 API 进行配置。有关如何将自定义插件加载到 Spark 中的信息，请参阅下面的“高级检测”。

组件实例 = Executor

这些指标由 Spark executor 公开。

• namespace=executor (指标类型为 counter 或 gauge)
  • 备注
    • spark.executor.metrics.fileSystemSchemes (默认值: file,hdfs) 决定了公开的文件系统指标。
  • bytesRead.count
  • bytesWritten.count
  • cpuTime.count
  • deserializeCpuTime.count
  • deserializeTime.count
  • diskBytesSpilled.count
  • filesystem.file.largeRead_ops
  • filesystem.file.read_bytes
  • filesystem.file.read_ops
  • filesystem.file.write_bytes
  • filesystem.file.write_ops
  • filesystem.hdfs.largeRead_ops
  • filesystem.hdfs.read_bytes
  • filesystem.hdfs.read_ops
  • filesystem.hdfs.write_bytes
  • filesystem.hdfs.write_ops
  • jvmGCTime.count
  • memoryBytesSpilled.count
  • recordsRead.count
  • recordsWritten.count
  • resultSerializationTime.count
  • resultSize.count
  • runTime.count
  • shuffleBytesWritten.count
  • shuffleFetchWaitTime.count
  • shuffleLocalBlocksFetched.count
  • shuffleLocalBytesRead.count
  • shuffleRecordsRead.count
  • shuffleRecordsWritten.count
  • shuffleRemoteBlocksFetched.count
  • shuffleRemoteBytesRead.count
  • shuffleRemoteBytesReadToDisk.count
  • shuffleTotalBytesRead.count
  • shuffleWriteTime.count
  • succeededTasks.count
  • threadpool.activeTasks
  • threadpool.completeTasks
  • threadpool.currentPool_size
  • threadpool.maxPool_size
  • threadpool.startedTasks
• namespace=ExecutorMetrics
  • 备注
    • 这些指标取决于配置参数： spark.metrics.executorMetricsSource.enabled (默认值为 true)
    • ExecutorMetrics 会作为 executor 和 driver 定期调度的心跳过程的一部分进行更新： spark.executor.heartbeatInterval (默认值为 10 秒)
    • 对于 executor 内存指标，可以使用更快的轮询机制，可以通过使用配置参数 spark.executor.metrics.pollingInterval 设置轮询间隔（以毫秒为单位）来激活它
  • JVMHeapMemory
  • JVMOffHeapMemory
  • OnHeapExecutionMemory
  • OnHeapStorageMemory
  • OnHeapUnifiedMemory
  • OffHeapExecutionMemory
  • OffHeapStorageMemory
  • OffHeapUnifiedMemory
  • DirectPoolMemory
  • MappedPoolMemory
  • MinorGCCount
  • MinorGCTime
  • MajorGCCount
  • MajorGCTime
  • “ProcessTree*” 指标计数器
    • ProcessTreeJVMVMemory
    • ProcessTreeJVMRSSMemory
    • ProcessTreePythonVMemory
    • ProcessTreePythonRSSMemory
    • ProcessTreeOtherVMemory
    • ProcessTreeOtherRSSMemory
    • 注意： “ProcessTree” 指标仅在特定条件下收集。这些条件是以下条件的逻辑 AND：/proc 文件系统存在，spark.executor.processTreeMetrics.enabled=true。“ProcessTree” 指标在不满足这些条件时报告 0。
• namespace=JVMCPU
  • jvmCpuTime
• namespace=NettyBlockTransfer
  • shuffle-client.usedDirectMemory
  • shuffle-client.usedHeapMemory
  • shuffle-server.usedDirectMemory
  • shuffle-server.usedHeapMemory
• namespace=HiveExternalCatalog
  • 注意：这些指标取决于配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• namespace=CodeGenerator
  • 注意：这些指标取决于配置参数：spark.metrics.staticSources.enabled（默认为 true）
  • compilationTime（histogram）
  • generatedClassSize（histogram）
  • generatedMethodSize（histogram）
  • sourceCodeSize（histogram）
• namespace=plugin.<插件类名>
  • 可选的命名空间。此命名空间中的指标由用户提供的代码定义，并使用 Spark 插件 API 进行配置。有关如何将自定义插件加载到 Spark 中的信息，请参阅下面的“高级检测”。

源 = JVM 源

备注

• 通过设置相关的 metrics.properties 文件条目或配置参数来激活此源：spark.metrics.conf.*.source.jvm.class=org.apache.spark.metrics.source.JvmSource
• 这些指标取决于配置参数： spark.metrics.staticSources.enabled (默认值为 true)
• 此源适用于 driver 和 executor 实例，也适用于其他实例。
• 此源使用 Dropwizard/Codahale Metric Sets for JVM instrumentation 提供关于 JVM 指标的信息，特别是指标集 BufferPoolMetricSet、GarbageCollectorMetricSet 和 MemoryUsageGaugeSet。

组件实例 = applicationMaster

注意：适用于在 YARN 上运行

• numContainersPendingAllocate
• numExecutorsFailed
• numExecutorsRunning
• numLocalityAwareTasks
• numReleasedContainers

组件实例 = mesos_cluster

注意：适用于在 mesos 上运行

• waitingDrivers
• launchedDrivers
• retryDrivers

组件实例 = master

注意：适用于在 Spark standalone 中作为 master 运行

• workers
• aliveWorkers
• apps
• waitingApps

组件实例 = ApplicationSource

注意：适用于在 Spark standalone 中作为 master 运行

• status
• runtime_ms
• cores

组件实例 = worker

注意：适用于在 Spark standalone 中作为 worker 运行

• executors
• coresUsed
• memUsed_MB
• coresFree
• memFree_MB

组件实例 = shuffleService

注意：适用于 shuffle 服务

• blockTransferRate (meter) - 正在传输的块的速率
• blockTransferMessageRate (meter) - 块传输消息的速率，即，如果启用了批量获取，则表示批次的数量而不是块的数量
• blockTransferRateBytes (meter)
• blockTransferAvgTime_1min (gauge - 1 分钟移动平均值)
• numActiveConnections.count
• numRegisteredConnections.count
• numCaughtExceptions.count
• openBlockRequestLatencyMillis (histogram)
• registerExecutorRequestLatencyMillis (histogram)
• registeredExecutorsSize
• shuffle-server.usedDirectMemory

• shuffle-server.usedHeapMemory

• 注意： 以下指标适用于服务器端配置 spark.shuffle.push.server.mergedShuffleFileManagerImpl 设置为 org.apache.spark.network.shuffle.MergedShuffleFileManager 以进行基于推送的 Shuffle
• blockBytesWritten - 写入文件中推送的块数据的大小，以字节为单位
• blockAppendCollisions - shuffle 服务中发生的 shuffle 推送块冲突的数量，因为正在写入同一 reduce 分区的另一个块
• lateBlockPushes - 在特定的 shuffle 合并完成后，在 shuffle 服务中收到的 shuffle 推送块的数量
• deferredBlocks - 当前缓存在内存中的延迟块部分的数量
• deferredBlockBytes - 当前缓存在内存中的延迟块部分的大小
• staleBlockPushes - 过时的 shuffle 块推送请求的数量
• ignoredBlockBytes - 传输到 ESS 但被忽略的推送块数据的大小。 当满足以下条件时，推送的块数据被认为是忽略的：1. 在 shuffle 完成后收到；2. 当推送请求是针对重复块时；3. ESS 无法写入块。

高级检测

可以使用多种外部工具来帮助分析 Spark 作业的性能

• 集群范围的监控工具，例如 Ganglia，可以提供对整体集群利用率和资源瓶颈的洞察。 例如，Ganglia 仪表板可以快速显示特定工作负载是受磁盘限制、受网络限制还是受 CPU 限制。
• OS 分析工具，例如 dstat、iostat 和 iotop，可以提供对单个节点的细粒度分析。
• JVM 实用程序，例如提供堆栈跟踪的 jstack、创建堆转储的 jmap、报告时间序列统计信息的 jstat 以及用于以可视化方式浏览各种 JVM 属性的 jconsole 对于熟悉 JVM 内部的人员非常有用。

Spark 还提供了一个插件 API，以便可以将自定义检测代码添加到 Spark 应用程序。 有两个配置键可用于将插件加载到 Spark 中

• spark.plugins
• spark.plugins.defaultList

两者都接受一个逗号分隔的类名列表，这些类名实现了 org.apache.spark.api.plugin.SparkPlugin 接口。 存在这两个名称，以便可以将一个列表放置在 Spark 默认配置文件中，从而允许用户轻松地从命令行添加其他插件，而无需覆盖配置文件的列表。 重复的插件将被忽略。