在 YARN 集群模式下运行时，此文件也将被本地化到远程驱动程序，用于 SparkContext#addJar 中的依赖项解析。

• 在转发请求之前剥离路径前缀，
• 重写直接指向 Spark Master 的重定向，
• 将从 http://mydomain.com/path/to/spark 的访问重定向到 http://mydomain.com/path/to/spark/（路径前缀后的尾随斜杠）；否则主页面上的相对链接无法正常工作。

请注意，此配置也会替换事件日志中的原始日志 URL，当在历史服务器上访问应用程序时，这也将生效。新的日志 URL 必须是永久的，否则您可能会得到 executor 日志 URL 的死链。

目前，仅 YARN 和 K8s 集群管理器支持此配置。

• 本地模式：本地机器的核心数
• 其他：所有执行器节点上的总核心数或 2，取两者中的较大者

自适应优化期间 Shuffle 分区的建议大小（以字节为单位，当 spark.sql.adaptive.enabled 为 true 时）。当 Spark 合并小 Shuffle 分区或拆分倾斜 Shuffle 分区时，此配置生效。

配置执行连接（Join）时广播到所有工作节点的最大表大小（以字节为单位）。将此值设置为 -1 可禁用广播。默认值与 spark.sql.autoBroadcastJoinThreshold 相同。注意，此配置仅在自适应框架中使用。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 将根据目标大小（由 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定）合并连续的 Shuffle 分区，以避免过多的小任务。

合并前的初始 Shuffle 分区数。如果未设置，则等于 spark.sql.shuffle.partitions。此配置仅在 'spark.sql.adaptive.enabled' 和 'spark.sql.adaptive.coalescePartitions.enabled' 均为 true 时才有效。

合并后 Shuffle 分区的最小大小。当分区合并期间自适应计算的目标大小太小时，此配置非常有用。

当为 true 时，Spark 在合并连续 Shuffle 分区时不遵循 'spark.sql.adaptive.advisoryPartitionSizeInBytes'（默认 64MB）指定的目标大小，而是根据 Spark 集群的默认并行度自适应地计算目标大小。计算出的通常小于配置的目标大小。这是为了最大限度地提高并行度，并避免在启用自适应查询执行时出现性能回归。建议在繁忙的集群上将此配置设置为 false，以使资源利用率更高效（避免产生大量小任务）。

用于自适应执行的自定义成本评估器类。如果未设置，Spark 默认将使用其自身的 SimpleCostEvaluator。

当为 true 时，启用自适应查询执行，该执行根据准确的运行时统计信息在查询执行过程中重新优化查询计划。

当为 true 时，强制启用 OptimizeSkewedJoin，即使它引入了额外的 Shuffle。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 尝试在不需要 Shuffle 分区的情况下使用本地 Shuffle 读取器读取 Shuffle 数据，例如，在将排序合并连接转换为广播哈希连接之后。

配置每个分区允许构建本地哈希映射的最大大小（以字节为单位）。如果此值不小于 spark.sql.adaptive.advisoryPartitionSizeInBytes 且所有分区大小都不大于此配置，则无论 spark.sql.join.preferSortMergeJoin 的值如何，连接选择都倾向于使用 Shuffle 哈希连接而不是排序合并连接。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 将优化 RebalancePartitions 中的倾斜 Shuffle 分区，并根据目标大小（由 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定）将它们拆分为更小的分区，以避免数据倾斜。

配置要在自适应优化器中禁用的规则列表，规则按其名称指定并用逗号分隔。优化器将记录实际上已被排除的规则。

如果一个分区的大小小于此因子乘以 spark.sql.adaptive.advisoryPartitionSizeInBytes，则该分区在拆分期间将被合并。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 通过拆分（并在需要时复制）倾斜分区来动态处理 Shuffle 连接（排序合并和 Shuffle 哈希）中的倾斜。

如果一个分区的大小大于此因子乘以中位数分区大小，且也大于 'spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes'，则该分区被认为是倾斜的。

如果一个分区的大小（以字节为单位）大于此阈值，且也大于 'spark.sql.adaptive.skewJoin.skewedPartitionFactor' 乘以中位数分区大小，则该分区被认为是倾斜的。理想情况下，此配置应设置得大于 'spark.sql.adaptive.advisoryPartitionSizeInBytes'。

如果为 true，Spark 将为所有已实现命名参数支持的函数开启该功能。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，Spark SQL 将双引号 (") 括起来的字面量读取为标识符。当为 false 时，它们被读取为字符串字面量。

当为 true 时，Spark SQL 使用 ANSI 兼容的方言，而不是 Hive 兼容的方言。例如，当 SQL 运算符/函数的输入无效时，Spark 将在运行时抛出异常而不是返回 null 结果。有关此方言的完整详细信息，请参见 Spark 文档的“ANSI 兼容性”部分。某些 ANSI 方言特性可能不是直接来自 ANSI SQL 标准，但其行为符合 ANSI SQL 的风格。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，Spark SQL 解析器强制执行 ANSI 保留关键字，并禁止使用保留关键字作为表、视图、函数等别名和/或标识符的 SQL 查询。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，JOIN 在组合关系时优先于逗号。例如，t1, t2 JOIN t3 应解析为 t1 X (t2 X t3)。如果该配置为 false，结果为 (t1 X t2) X t3。

配置执行连接（Join）时广播到所有工作节点的最大表大小（以字节为单位）。将此值设置为 -1 可禁用广播。

写入 AVRO 文件时使用的压缩编解码器。支持的编解码器：uncompressed、deflate、snappy、bzip2、xz 和 zstandard。默认编解码器为 snappy。

写入 AVRO 文件时使用的 deflate 编解码器的压缩级别。有效值必须在 1 到 9 之间（包含 1 和 9）或为 -1。默认值为 -1，对应于当前实现中的 6 级。

当为 true 时，启用将过滤器下推到 Avro 数据源。

写入 AVRO 文件时使用的 xz 编解码器的压缩级别。有效值必须在 1 到 9 之间（包含）。默认值为 6。

如果为 true，则在写入 AVRO 文件时启用 ZSTD JNI 库的缓冲池。

写入 AVRO 文件时使用的 zstandard 编解码器的压缩级别。

显示二进制数据时使用的输出样式。有效值为 'UTF-8'、'BASIC'、'BASE64'、'HEX' 和 'HEX_DISCRETE'。

广播连接中广播等待时间的超时时间（以秒为单位）。

当为 true 时，如果连接两个桶数不同的桶表，桶数较多的一侧将被合并以与另一侧具有相同的桶数。较大的桶数可被较小的桶数整除。桶合并应用于排序合并连接和 Shuffle 哈希连接。注意：合并桶表可以避免连接中不必要的 Shuffle，但它也会降低并行度，并可能导致 Shuffle 哈希连接出现 OOM。

为应用桶合并，两个被合并桶的数量比率应小于或等于此值。此配置仅在 'spark.sql.bucketing.coalesceBucketsInJoin.enabled' 设置为 true 时才有效。

将用作 Spark 内置 v1 目录（spark_catalog）v2 接口的目录实现。此目录与其标识符命名空间与 spark_catalog 共享，并且必须与其保持一致；例如，如果表可以由 spark_catalog 加载，则此目录也必须返回表元数据。为了将操作委托给 spark_catalog，实现可以扩展 'CatalogExtension'。该值应为 'builtin'（代表 Spark 的内置 V2SessionCatalog）或目录实现的完全限定类名。

设置为 true 时，启用 CBO 以估计计划统计信息。

将星型连接过滤器启发法应用于基于成本的连接枚举。

动态规划算法中允许连接的最大节点数。

在 CBO 中启用连接重排序。

当为 true 时，逻辑计划将从目录中获取行数和列统计信息。

当为 true 时，启用基于星型模式检测的连接重排序。

当为 true 时，Spark 在 CREATE/REPLACE/ALTER TABLE 命令中将 CHAR 类型替换为 VARCHAR 类型，因此新创建/更新的表将不会有 CHAR 类型的列/字段。具有 CHAR 类型列/字段的现有表不受此配置的影响。

是否截断由 Base64 函数生成的字符串。当为 true 时，base64 函数生成的 base64 字符串被分块为最多 76 个字符的行。当为 false 时，base64 字符串不会分块。

启用后，Shuffle 文件将在经典 SQL 执行结束时被清理。注意，如果再次执行相同的 DataFrame 引用，此清理可能会导致阶段重试并重新生成 Shuffle 文件。

当设置为 true 时，spark-sql CLI 会在查询输出中打印列名。

用于存储解析失败的原始/未解析 JSON 和 CSV 记录的内部列名。

启用后，Shuffle 文件将在 Spark Connect SQL 执行结束时被清理。

当为 true 时，启用将过滤器下推到 CSV 数据源。

如果配置属性设置为 true，则 Java 8 API 的 java.time.Instant 和 java.time.LocalDate 类将用作 Catalyst 的 TimestampType 和 DateType 的外部类型。如果设置为 false，则 java.sql.Timestamp 和 java.sql.Date 将用于相同目的。

在调试输出中可以转换为字符串的序列类条目的最大字段数。超过限制的任何元素都将被丢弃并由“... N more fields”占位符替换。

dataset.cache()、catalog.cacheTable() 和 sql 查询 CACHE TABLE t 的默认存储级别。

默认目录的名称。如果用户尚未显式设置当前目录，这将是当前目录。

当为 PRETTY 时，错误消息包含错误类、消息和查询上下文的文本表示。MINIMAL 和 STANDARD 格式是漂亮的 JSON 格式，其中 STANDARD 包含一个额外的 JSON 字段 message。此配置属性会影响运行查询时 Thrift Server 和 SQL CLI 的错误消息。

在 JVM 和 Python 进程之间传输数据（例如 toPandas、toArrow）时用于压缩 Arrow IPC 数据的压缩编解码器。这可以在传输大数据集时显著减少内存使用量和网络带宽。支持的编解码器：'none'（无压缩）、'zstd'（Zstandard）、'lz4'（LZ4）。注意，压缩可能会增加 CPU 开销，但可以提供大量的内存节省，尤其是对于高压缩比的数据集。

压缩 Arrow IPC 数据时 Zstandard (zstd) 编解码器的压缩级别。此配置仅在 spark.sql.execution.arrow.compression.codec 设置为 'zstd' 时使用。负值提供超快压缩，但压缩率较低。正值提供正常到最大压缩，值越大压缩效果越好但速度较慢。默认值 3 在压缩速度和压缩率之间提供了良好的平衡。

(自 Spark 3.0 起已弃用，请设置 'spark.sql.execution.arrow.pyspark.enabled'。)

(自 Spark 3.0 起已弃用，请设置 'spark.sql.execution.arrow.pyspark.fallback.enabled'。)

将 Arrow 批次转换为 Spark DataFrame 时，如果 Arrow 批次的字节大小小于此阈值，则在驱动程序端使用本地集合。否则，Arrow 批次将被发送并在执行器中反序列化为 Spark 内部行。

使用 Apache Arrow 时，限制内存中单个 ArrowRecordBatch 可以写入的最大记录数。如果设置为零或负数，则没有限制。另请参阅 spark.sql.execution.arrow.maxBytesPerBatch。如果两者都设置，则满足任何条件时都会创建每个批次。

当为 true 时，在 PySpark 中利用 Apache Arrow 进行列式数据传输。此优化适用于：1. pyspark.sql.DataFrame.toPandas。2. 当输入为 Pandas DataFrame 或 NumPy ndarray 时的 pyspark.sql.SparkSession.createDataFrame。不支持以下数据类型：TimestampType 的 ArrayType。

当为 true 时，如果发生错误，'spark.sql.execution.arrow.pyspark.enabled' 启用的优化将自动回退到非优化实现。

(实验性) 当为 true 时，在从 Arrow 转换为 Pandas 时，利用 Apache Arrow 的自我毁灭（self-destruct）和拆分块（split-blocks）选项进行 PySpark 中的列式数据传输。这以一些 CPU 时间为代价减少了内存使用。此优化适用于：设置 'spark.sql.execution.arrow.pyspark.enabled' 时的 pyspark.sql.DataFrame.toPandas。

当为 true 时，验证 mapInArrow、mapInPandas 和 DataSource 返回的 Arrow 批次的模式与预期模式是否一致，以确保它们兼容。

当为 true 时，在 SparkR 中利用 Apache Arrow 进行列式数据传输。此优化适用于：1. 当输入为 R DataFrame 时的 createDataFrame 2. collect 3. dapply 4. gapply。不支持以下数据类型：FloatType、BinaryType、ArrayType、StructType 和 MapType。

在使用 PySpark 的 TransformWithState（包括 Python Row 和 Pandas 模式）时，限制单个内存中 ArrowRecordBatch 可写入的状态记录的最大数量。

在使用 Apache Arrow 时，对字符串和二进制类型使用大变长向量（Large Variable Width Vectors）。普通的字符串和二进制类型在单个记录批次（record batch）中对单列有 2GiB 的限制。大变长类型移除了这一限制，但会以每个值更高的内存占用为代价。

如果设为 true，当查询被取消时，所有正在运行的任务都将被中断。

如果设为 true，spark.createDataFrame 会将 Pandas DataFrame 中的 dict 推断为 MapType。如果设为 false，spark.createDataFrame 会将 Pandas DataFrame 中的 dict 推断为 StructType，这也是 PyArrow 的默认推断方式。

创建 pandas DataFrame 时结构体（struct）类型的转换模式。当为 "legacy" 时：1. 当禁用 Arrow 优化时，转换为 Row 对象；2. 当启用 Arrow 优化时，转换为 dict，如果存在重复的嵌套字段名则抛出异常。当为 "row" 时，无论是否启用 Arrow 优化，都转换为 Row 对象。当为 "dict" 时，无论是否启用 Arrow 优化，都转换为 dict 并使用后缀键名（例如 a_0, a_1）来处理重复的嵌套字段名。

与 spark.buffer.size 相同，但仅适用于 Pandas UDF 的执行。如果未设置，则回退使用 spark.buffer.size。注意 Pandas 执行需要大于 4 字节。降低该值可以使小的 Pandas UDF 批次进行迭代和流水线处理；然而，这可能会降低性能。参见 SPARK-27870。

如果设为 true，BinaryType 在 PySpark 中将始终映射为 bytes。如果设为 false，则恢复 4.1.0 之前的 PySpark 行为。在 4.1.0 之前，BinaryType 在没有 Arrow 优化的常规 UDF 和 UDTF、DataFrame API（Spark Classic 和 Spark Connect）以及数据源中映射为 bytearray；而在使用旧版 pandas 转换且经过 Arrow 优化的 UDF 和 UDTF 中，BinaryType 映射为 bytes。

与 spark.python.daemon.killWorkerOnFlushFailure 相同，适用于带有 DataFrame 和 SQL 的 Python 执行。它可以在运行时更改。

与 spark.python.worker.faulthandler.enabled 相同，适用于带有 DataFrame 和 SQL 的 Python 执行。它可以在运行时更改。

如果设为 true，仅显示 Python UDF 的异常消息，隐藏堆栈跟踪。如果启用了此功能，simplifiedTraceback 将失效。

与 spark.python.worker.idleTimeoutSeconds 相同，适用于带有 DataFrame 和 SQL 的 Python 执行。它可以在运行时更改。

与 spark.python.worker.killOnIdleTimeout 相同，适用于带有 DataFrame 和 SQL 的 Python 执行。它可以在运行时更改。

如果设为 true，则简化 Python UDF 的回溯信息。它会在回溯中隐藏来自 PySpark 的 Python worker、(反)序列化等信息，仅显示来自 UDF 的异常消息。注意，此功能仅适用于 CPython 3.7+。

与 spark.python.worker.tracebackDumpIntervalSeconds 相同，适用于带有 DataFrame 和 SQL 的 Python 执行。它可以在运行时更改。

与 spark.buffer.size 相同，但仅适用于 Python UDF 的执行。如果未设置，则回退使用 spark.buffer.size。

在使用 Python UDF 时，限制可进行序列化/反序列化处理的单批次最大记录数。

执行 Arrow 优化 Python UDF 的并发级别。如果 Python UDF 使用密集的 I/O 操作，此配置会很有用。

在常规 Python UDF 中启用 Arrow 优化。该优化仅在给定函数至少接收一个参数时才能启用。

如果设为 true，在序列化期间将 Pandas.Series 转换为 Arrow 数组之前，先将 int 转换为 Decimal Python 对象。默认禁用，会影响性能。

为 Python UDTF 启用 Arrow 优化。

在包含 SORT 后接 LIMIT 的 SQL 查询中（例如 'SELECT x FROM t ORDER BY y LIMIT m'），如果 m 低于此阈值，则执行内存中的 top-K 排序；否则执行全局排序，必要时会溢出到磁盘。

以逗号分隔的实现了 org.apache.spark.sql.ExtendedExplainGenerator 特质的类列表。如果提供，Spark 将在 explain 计划和 UI 中打印来自这些提供程序的扩展计划信息。

是否忽略损坏的文件。如果为 true，当遇到损坏的文件时，Spark 作业将继续运行，并且已读取的内容仍将返回。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

是否忽略与 <column>=<value> 不匹配的无效分区路径。启用此选项后，对于拥有 'table/invalid' 和 'table/col=1' 两个分区目录的表，将仅加载后者，而忽略无效分区。

是否忽略丢失的文件。如果为 true，当遇到丢失的文件时，Spark 作业将继续运行，并且已读取的内容仍将返回。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

读取文件时打包到单个分区中的最大字节数。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

建议的（非保证）拆分文件分区的最大数量。如果设置了此项，且初始分区数量超过此值，Spark 将重新缩放每个分区，使分区数量接近该值。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

写入单个文件的最大记录数。如果该值为零或负数，则没有限制。

建议的（非保证）拆分文件分区的最小数量。如果未设置，默认值为 spark.sql.leafNodeDefaultParallelism。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

当此选项设置为 false 且所有输入均为二进制时，functions.concat 返回二进制结果。否则，返回字符串。

当此选项设置为 false 且所有输入均为二进制时，elt 返回二进制结果。否则，返回字符串。

如果设为 true，select 列表中的别名可以在 group by 子句中使用。如果设为 false，则在这种情况下抛出分析异常。

如果设为 true，group by 子句中的序数数字将被视为 select 列表中的位置。如果设为 false，则忽略序数数字。

当设置为 true，且 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 为 true 时，使用内置的 ORC/Parquet 写入器来处理对使用 HiveSQL 语法创建的分区 ORC/Parquet 表的插入。

当设置为 true，且 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 为 true 时，使用内置的 ORC/Parquet 写入器来处理对使用 HiveSQL 语法创建的未分区 ORC/Parquet 表的插入。

当设置为 true 时，当 Spark 使用数据源 API 而不是 Hive serde 来读取/写入 Parquet 或 ORC 格式的 Hive 表时，会将 nullable 属性应用于模式。此标志仅在分别启用 convertMetastoreParquet 或 convertMetastoreOrc 时有效。当表模式的为空性在元数据存储和数据文件之间不一致时，建议将其设置为 true。

当设置为 true 时，Spark 将尝试在 CTAS 中使用内置数据源写入器而不是 Hive serde。此标志仅在分别针对 Parquet 和 ORC 格式启用 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 时有效。

当设置为 true 时，Spark 将尝试在 INSERT OVERWRITE DIRECTORY 中使用内置数据源写入器而不是 Hive serde。此标志仅在分别针对 Parquet 和 ORC 格式启用 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 时有效。

当设置为 true 时，使用内置的 ORC 读取器和写入器来处理使用 HiveQL 语法创建的 ORC 表，而不是 Hive serde。

当设置为 true 时，使用内置的 Parquet 读取器和写入器来处理使用 HiveQL 语法创建的 Parquet 表，而不是 Hive serde。

当为 true 时，也会尝试合并不同 Parquet 数据文件中可能不同但兼容的 Parquet 模式。此配置仅在 "spark.sql.hive.convertMetastoreParquet" 为 true 时有效。

当为 true 时，Spark 将获取分区名称而不是分区对象来删除分区，这可以提高删除分区的性能。

当非零时，启用内存中分区文件元数据的缓存。所有表共享一个缓存，该缓存最多可以使用指定的字节数用于文件元数据。此配置仅在启用了 Hive 文件源分区管理时才有效。

当为 true 时，也为文件源表启用元数据存储分区管理。这包括数据源表和转换后的 Hive 表。当启用分区管理时，数据源表将分区存储在 Hive 元数据存储中，并且当 spark.sql.hive.metastorePartitionPruning 设置为 true 时，在查询规划期间使用元数据存储来修剪分区。

当为 true 时，一些谓词将被下推到 Hive 元数据存储中，以便可以更早地消除不匹配的分区。

当从元数据存储遇到 MetaException 时，是否回退到从 Hive 元数据存储获取所有分区并在 Spark 客户端侧执行分区修剪。注意，如果启用此功能且存在大量分区，Spark 查询性能可能会下降。如果禁用此功能，Spark 将改为使查询失败。

启用此配置后，如果 Hive 不支持谓词，或者由于从元数据存储遇到 MetaException 而导致 Spark 回退，Spark 将改为通过首先获取分区名称，然后在客户端侧评估过滤表达式来修剪分区。注意，不支持具有 TimeZoneAwareExpression 的谓词。

当设置为 true 时，Hive Thrift 服务器以异步方式执行 SQL 查询。

启用后，我们将使用 ICU 库（而不是 JVM）在 UTF8_BINARY 排序规则下实现字符串的大小写映射。

控制列式缓存的批次大小。较大的批次大小可以提高内存利用率和压缩效率，但在缓存数据时存在内存溢出 (OOM) 的风险。

当设置为 true 时，Spark SQL 将根据数据的统计信息自动为每一列选择压缩编解码器。

为列式缓存启用向量化读取器。

当 spark.sql.inMemoryColumnarStorage.hugeVectorThreshold <= 0 或所需内存小于该阈值时，spark 保留所需内存 * 2 的空间；否则，spark 保留所需内存 * 此比率的空间，并在读取下一批行之前释放此列向量内存。

当所需内存大于此值时，spark 下次保留所需内存 * spark.sql.inMemoryColumnarStorage.hugeVectorReserveRatio 的内存，并在读取下一批行之前释放此列向量内存。-1 表示禁用此优化。

当为 true 时，启用 JSON 数据源的过滤下推。

当设置为 true 时，在 JSON 解析器中使用 UnsafeRow 来表示结构体结果。它可以被 JSON 选项 useUnsafeRow 覆盖。

在 JSON 数据源和诸如 to_json 之类的 JSON 函数中生成 JSON 对象时是否忽略 null 字段。如果为 false，则在 JSON 对象中为 null 字段生成 null。

生产数据的 Spark SQL 叶子节点（如文件扫描节点、本地数据扫描节点、范围节点等）的默认并行度。此配置的默认值为 'SparkContext#defaultParallelism'。

当设置为 true 时，Hive Thrift 服务器在 GetColumns 操作的结果中返回基于 0 的 ORDINAL_POSITION，而不是校正后的基于 1 的位置。

用于内置函数 CreateMap、MapFromArrays、MapFromEntries、StringToMap、MapConcat 和 TransformKeys 中映射键（map keys）去重的策略。当为 EXCEPTION 时，如果检测到重复的映射键，查询将失败。当为 LAST_WIN 时，最后插入的映射键优先。

可选的额外远程 Maven 镜像仓库的逗号分隔字符串配置。这仅用于在默认 Maven Central 仓库无法访问时，在 IsolatedClientLoader 中下载 Hive jar 包。

广播连接（broadcast joins）中可以广播的最大表大小（字节）。

元数据字符串输出的最大字符数。例如 DataSourceScanExec 中的文件位置，如果超过长度，每个值都将被缩写。

计划字符串（plan string）输出的最大字符数。如果计划更长，后续输出将被截断。默认设置始终生成完整计划。如果计划字符串占用了太多内存，或者在驱动程序或 UI 进程中导致 OutOfMemory 错误，请将其设置为较小的值（例如 8k）。

单个分区允许的最大字节数。否则，规划器将引入 shuffle 以提高并行度。

如果为 true，则启用 Apache Spark SQL 的算子管道语法。这使用算子管道标记 |> 来指示 SQL 子句之间的分离，以一种可组合的方式描述查询执行的步骤顺序。

是否避免折叠会导致 UDF 中昂贵表达式重复的投影（projections）。

是否始终折叠两个相邻的投影并内联表达式，即使这会导致额外的重复。

当为 true 时，当分区列用作连接键（join key）时，我们将为其生成谓词。

是否在 SQL 优化器中优化 CSV 表达式。这包括从 from_csv 中修剪不必要的列。

是否在 SQL 优化器中优化 JSON 表达式。这包括从 from_json 中修剪不必要的列、简化 from_json + to_json、to_json + named_struct(from_json.col1, from_json.col2, ....)。

配置要在优化器中禁用的规则列表，这些规则通过其名称指定并以逗号分隔。不能保证此配置中的所有规则最终都会被排除，因为有些规则对于正确性是必需的。优化器将记录实际已被排除的规则。

布隆过滤器应用侧计划的聚合扫描大小的字节数阈值。布隆过滤器应用侧的聚合扫描字节大小需要超过此值才能注入布隆过滤器。

布隆过滤器创建侧计划的大小阈值。估计大小需要低于此值才能尝试注入布隆过滤器。

当为 true 且 shuffle 连接的一侧具有选择性谓词时，我们尝试在另一侧插入布隆过滤器以减少 shuffle 数据量。

运行时布隆过滤器的预期项目数默认值。

用于运行时布隆过滤器的最大位数。

运行时布隆过滤器允许的最大预期项目数。

用于运行时布隆过滤器的位数默认值。

为基于组的行级操作启用运行时组过滤。替换数据组（例如文件、分区）的数据源在规划行级操作扫描时，可以使用提供的数据源过滤器修剪整个组。然而，这种过滤是有限的，因为并非所有表达式都可以转换为数据源过滤器，并且某些表达式只能由 Spark（例如子查询）评估。由于重写组的开销很大，Spark 可以在运行时执行查询以查找哪些记录符合行级操作的条件。关于匹配记录的信息将被传回行级操作扫描，允许数据源丢弃不需要重写的组。

单次查询注入的运行时过滤器（非 DPP）的总数。这是为了防止因过多的布隆过滤器导致驱动程序 OOM。

如果为 true，聚合将下推到 ORC 进行优化。支持 MIN、MAX 和 COUNT 作为聚合表达式。对于 MIN/MAX，支持布尔、整数、浮点和日期类型。对于 COUNT，支持所有数据类型。如果任何 ORC 文件页脚缺少统计信息，将抛出异常。

orc 向量化读取器批次中包含的行数。应仔细选择该数字以最小化开销并避免读取数据时出现 OOM。

orc 向量化写入器批次中包含的行数。应仔细选择该数字以最小化开销并避免写入数据时出现 OOM。

设置写入 ORC 文件时使用的压缩编解码器。如果在表特定选项/属性中指定了 compression 或 orc.compress，优先级顺序为 compression, orc.compress, spark.sql.orc.compression.codec。可接受的值包括：none, uncompressed, snappy, zlib, lzo, zstd, lz4, brotli。

为嵌套列启用向量化 orc 解码。

启用向量化 orc 解码。

当为 true 时，启用 ORC 文件的过滤下推。

当为 true 时，Orc 数据源合并从所有数据文件收集的模式，否则模式是从随机数据文件中选取的。

如果设为 true，序数数字将被视为 select 列表中的位置。如果设为 false，order/sort by 子句中的序数数字将被忽略。

如果为 true，聚合将下推到 Parquet 进行优化。支持 MIN、MAX 和 COUNT 作为聚合表达式。对于 MIN/MAX，支持布尔、整数、浮点和日期类型。对于 COUNT，支持所有数据类型。如果任何 Parquet 文件页脚缺少统计信息，将抛出异常。

其他一些生成 Parquet 的系统（特别是 Impala 和旧版本的 Spark SQL）在写出 Parquet 模式时不区分二进制数据和字符串。此标志告诉 Spark SQL 将二进制数据解释为字符串，以提供与这些系统的兼容性。

parquet 向量化读取器批次中包含的行数。应仔细选择该数字以最小化开销并避免读取数据时出现 OOM。

设置写入 Parquet 文件时使用的压缩编解码器。如果在表特定选项/属性中指定了 compression 或 parquet.compression，优先级顺序为 compression, parquet.compression, spark.sql.parquet.compression.codec。可接受的值包括：none, uncompressed, snappy, gzip, lzo, brotli, lz4, lz4_raw, zstd。

为嵌套列（例如 struct, list, map）启用向量化 Parquet 解码。需要启用 spark.sql.parquet.enableVectorizedReader。

启用向量化 parquet 解码。

字段 ID 是 Parquet 模式规范的原生字段。启用后，Parquet 读取器将使用所请求 Spark 模式中的字段 ID（如果存在）来查找 Parquet 字段，而不是使用列名。

当 Parquet 文件没有任何字段 ID，但 Spark 读取模式使用字段 ID 进行读取时，如果启用了此标志，我们将静默返回 null，否则报错。

字段 ID 是 Parquet 模式规范的原生字段。启用后，Parquet 写入器将把 Spark 模式中的字段 ID 元数据（如果存在）填充到 Parquet 模式中。

设置为 true 时启用 Parquet 过滤下推优化。

启用后，带有注释 isAdjustedToUTC = false 的 Parquet 时间戳列在模式推断期间被推断为 TIMESTAMP_NTZ 类型。否则，所有 Parquet 时间戳列都被推断为 TIMESTAMP_LTZ 类型。注意，Spark 在写入文件时将输出模式写入 Parquet 页脚元数据，并在读取文件时利用它。因此，此配置仅影响非 Spark 编写的 Parquet 文件的模式推断。

某些生成 Parquet 的系统（特别是 Impala）将时间戳存储在 INT96 中。Spark 也会将时间戳存储为 INT96，因为我们需要避免纳秒精度的丢失。此标志告诉 Spark SQL 将 INT96 数据解释为时间戳，以提供与这些系统的兼容性。

此选项控制在转换为时间戳时是否应对 Impala 编写的数据中的 INT96 数据应用时间戳调整。这是必要的，因为 Impala 存储 INT96 数据时所用的时区偏移量与 Hive 和 Spark 不同。

当为 true 时，Parquet 数据源合并从所有数据文件收集的模式，否则模式是从摘要文件（summary file）中选取的，如果没有摘要文件可用，则从随机数据文件中选取。

设置 Spark 向 Parquet 文件写入数据时使用的 Parquet 时间戳类型。INT96 是一种非标准但常用的 Parquet 时间戳类型。TIMESTAMP_MICROS 是 Parquet 中的一种标准时间戳类型，它存储自 Unix 纪元以来的微秒数。TIMESTAMP_MILLIS 也是标准的，但精度为毫秒，这意味着 Spark 必须截断其时间戳值的微秒部分。

如果为 true，则启用 Parquet 使用下推过滤器进行的原生记录级过滤。此配置仅在启用了 'spark.sql.parquet.filterPushdown' 且未启用向量化读取器时有效。你可以通过将 'spark.sql.parquet.enableVectorizedReader' 设置为 false 来确保不使用向量化读取器。

当为 true 时，我们假设所有 Parquet 的部分文件（part-files）与摘要文件一致，并且在合并模式时我们将忽略它们。否则，如果为 false（默认值），我们将合并所有部分文件。这应被视为仅限专家使用的选项，在不准确理解其含义之前不应启用。

如果为 true，数据将以 Spark 1.4 及更早版本的方式写入。例如，十进制值将以 Apache Parquet 的定长字节数组格式写入，其他系统（如 Apache Hive 和 Apache Impala）使用该格式。如果为 false，将使用 Parquet 中较新的格式。例如，十进制将以基于 int 的格式写入。如果 Parquet 输出计划用于不支持此较新格式的系统，请将其设置为 true。

当为 true 时，SELECT 语句中带引号的标识符（使用反引号）被解释为正则表达式。

流（flow）可以重试的最大次数。

当执行 pivot 而未指定 pivot 列的值时，这是在不报错的情况下将收集的最大（不同）值数量。

指定 Spark 驱动程序中执行 Python 代码的内存分配，单位为 MiB。设置后，它会将 Python 执行的内存上限设为指定金额。如果不设置，Spark 不会限制 Python 的内存使用，由应用程序负责避免超过与其它非 JVM 进程共享的开销内存空间。注意：Windows 不支持资源限制，在 MacOS 上实际资源不受限制。

当为 true 时，Spark 不会将 CHAR/VARCHAR 类型替换为 STRING 类型（这是 Spark 3.0 及更早版本的默认行为）。这意味着强制执行 CHAR/VARCHAR 类型的长度检查，并且 CHAR 类型也会被适当填充。

PySpark 的 SparkSession.createDataFrame 默认将嵌套 dict 推断为 map。当设置为 true 时，它将嵌套 dict 推断为 struct。

当为 true 时，它会在面向用户的 PySpark 异常中与 Python 堆栈跟踪一起显示 JVM 堆栈跟踪。默认情况下，它被禁用以隐藏 JVM 堆栈跟踪，仅显示对 Python 友好的异常。注意，这与日志级别设置无关。

绘图的视觉限制。如果对于基于 top-n 的图（饼图、条形图、横向条形图）设置为 1000，则前 1000 个数据点将用于绘图。对于基于采样的图（散点图、面积图、折线图），将随机采样 1000 个数据点。

通过启用或禁用它来配置 Python/Pandas UDF 分析器，并可选择 "perf" 或 "memory" 类型，或者取消设置该配置以禁用分析器。默认情况下它是禁用的。

当设置为 true 时，此配置在执行用户定义函数 (UDF)、用户定义表函数 (UDTF) 以及 Spark SQL 中其他基于 Python 的操作的 Python 工作进程中启用全面日志记录。

当为 true 时，除了写入侧填充外，Spark 在读取 CHAR 类型列/字段时也会应用字符串填充。此配置默认开启，以便在外部表等情况下更好地强制执行 CHAR 类型语义。

用于确定 Spark SQL 命令的选项映射中哪些键包含敏感信息的正则表达式。名称与此正则表达式匹配的选项的值将在 explain 输出中被脱敏。此脱敏操作是在 spark.redaction.regex 定义的全局脱敏配置之上应用的。

用于确定 Spark 生成的字符串的哪些部分包含敏感信息的正则表达式。当此正则表达式匹配字符串的某一部分时，该部分字符串将被替换为虚拟值。目前用于对 SQL explain 命令的输出进行脱敏。如果未设置此配置，则使用 spark.redaction.string.regex 的值。

是否启用即时评估（eager evaluation）。当为 true 时，只有在 REPL 支持即时评估的情况下才会显示 Dataset 的前 K 行。目前，PySpark 和 SparkR 支持即时评估。在 PySpark 中，对于 Jupyter 等笔记本，将返回 HTML 表格（由 repr_html 生成）。对于纯 Python REPL，返回的输出格式化为 dataframe.show()。在 SparkR 中，返回的输出类似于 R data.frame 的显示方式。

即时评估返回的最大行数。此配置仅在 spark.sql.repl.eagerEval.enabled 设置为 true 时生效。此配置的有效范围是从 0 到 (Int.MaxValue - 1)，因此负数或大于 (Int.MaxValue - 1) 的无效配置将被归一化为 0 和 (Int.MaxValue - 1)。

即时评估返回的每个单元格的最大字符数。此配置仅在 spark.sql.repl.eagerEval.enabled 设置为 true 时生效。

SQL Scripting 功能正在开发中，其使用应在次功能标记下进行。SQL Scripting 允许用户编写程序化 SQL，包括控制流和错误处理。

序列化后在驱动程序侧缓存本地关系的字节大小阈值。

将 ChunkedCachedLocalRelation.data 拆分为批次时的分块大小（字节）。当达到 spark.sql.session.localRelationChunkSizeBytes 或 spark.sql.session.localRelationChunkSizeRows 时，将创建新块。受 spark.sql.session.localRelationBatchOfChunksSizeBytes 的限制，这两个配置的较小值用于确定块大小。

将 ChunkedCachedLocalRelation.data 拆分为批次时的分块行数大小。当达到 spark.sql.session.localRelationChunkSizeBytes 或 spark.sql.session.localRelationChunkSizeRows 时，将创建新块。

会话本地时区的 ID，格式为基于区域的时区 ID 或时区偏移量。区域 ID 必须具有 'area/city' 的形式，例如 'America/Los_Angeles'。时区偏移量必须为 '(+|-)HH', '(+|-)HH:mm' 或 '(+|-)HH:mm:ss' 格式，例如 '-08', '+01:00' 或 '-13:33:33'。此外，'UTC' 和 'Z' 也支持作为 '+00:00' 的别名。不建议使用其他简写名称，因为它们可能产生歧义。

当我们检测到与消费者阶段的生产者阶段存在校验和不匹配时，是否重试消费者阶段的所有任务。

是否为 shuffle 数据计算与顺序无关的校验和。如果启用，Spark 将计算每个映射器独立于输入行顺序的校验和，并将校验和从执行器返回到驱动程序。这与启用 spark.shuffle.checksum.enabled 时计算的校验和不同，后者对 shuffle 数据排序敏感，用于检测文件损坏。此校验和即使在 shuffle 行顺序更改时也会保持不变，并用于检测同一分区的不同任务尝试是否产生了不同的输出数据（相同的键值对集合）。如果输出数据在重试过程中发生了更改，Spark 将需要重试消费者阶段的所有任务以避免正确性问题。

用于连接或聚合 shuffle 数据时使用的默认分区数。

(自 Spark 4.1 起弃用，请设置 'spark.sql.connect.shuffleDependency.fileCleanup.enabled'。)

启用后，Spark Connect SQL 执行的 shuffle 依赖项将在执行结束时标记，并且在退役期间不会迁移。

如果小侧的数据大小乘以该因子后仍小于大侧，则可以选择 shuffle 哈希连接。

当为 true 时，根据查询计划自动决定是否对输入表执行分桶扫描。如果以下情况则不使用分桶扫描：1. 查询没有利用分桶的算子（例如 join, group-by 等），或 2. 在这些算子和表扫描之间存在交换（exchange）算子。注意当 'spark.sql.sources.bucketing.enabled' 设置为 false 时，此配置不起作用。

当为 false 时，我们将把分桶表视为普通表。

允许的最大桶数。

输入/输出中使用的默认数据源。

允许在驱动程序侧列出文件的最大路径数。如果在分区发现期间检测到的路径数超过此值，它将尝试使用另一个 Spark 分布式作业来列出文件。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

当为 true 时，自动推断分区列的数据类型。

当 INSERT OVERWRITE 一个分区数据源表时，我们目前支持 2 种模式：static 和 dynamic。在 static 模式下，Spark 在覆盖之前删除 INSERT 语句中匹配分区规范（例如 PARTITION(a=1,b)）的所有分区。在 dynamic 模式下，Spark 不预先删除分区，仅覆盖运行时有数据写入的那些分区。默认情况下，我们使用 static 模式以保持与 2.3 之前的 Spark 相同的行为。注意此配置不影响 Hive serde 表，因为它们总是以 dynamic 模式覆盖。这也可以作为使用键 partitionOverwriteMode 的数据源输出选项进行设置（该选项优先于此设置），例如 dataframe.write.option("partitionOverwriteMode", "dynamic").save(path)。

在分区转换兼容但不相同的情况下，是否允许存储分区连接（storage-partition join）。此配置要求同时启用 spark.sql.sources.v2.bucketing.enabled 和 spark.sql.sources.v2.bucketing.pushPartValues.enabled，并禁用 spark.sql.sources.v2.bucketing.partiallyClusteredDistribution.enabled。

在连接键是源表分区键的子集的情况下，是否允许存储分区连接。在规划阶段，Spark 将仅按连接键中的那些键对分区进行分组。目前仅在 spark.sql.requireAllClusterKeysForDistribution 为 false 时启用。

与 spark.sql.sources.bucketing.enabled 类似，此配置用于为 V2 数据源启用分桶。开启后，Spark 将通过 SupportsReportPartitioning 识别 V2 数据源报告的特定分布，并在必要时尝试避免 shuffle。

在存储分区连接期间，当连接的两侧都是 KeyGroupedPartitioning 时，是否允许输入分区部分聚类（partially clustered）。在规划阶段，Spark 将根据表统计信息选择数据大小较小的一侧，对其进行分组并复制以匹配另一侧。这是对倾斜连接的优化，当某些分区分配了大量数据时，可以帮助减少数据倾斜。此配置要求同时启用 spark.sql.sources.v2.bucketing.enabled 和 spark.sql.sources.v2.bucketing.pushPartValues.enabled。

运行存储分区连接时是否过滤分区。启用后，如果连接类型允许，则可以省略另一侧没有匹配项的分区进行扫描。此配置要求同时启用 spark.sql.sources.v2.bucketing.enabled 和 spark.sql.sources.v2.bucketing.pushPartValues.enabled。

当启用 spark.sql.sources.v2.bucketing.enabled 时，是否下推常见分区值。开启后，如果连接的两侧都是 KeyGroupedPartitioning 且它们共享兼容的分区键，即使它们没有完全相同的分区值，Spark 也会计算分区值的超集并将该信息下推到扫描节点，扫描节点将为任一侧缺失的分区值使用空分区。这有助于消除不必要的 shuffle。

在存储分区连接期间，是否允许仅 shuffle 一侧。当只有一侧是 KeyGroupedPartitioning 时，如果满足条件，spark 将仅 shuffle 另一侧。此优化将减少需要 shuffle 的数据量。此配置要求启用 spark.sql.sources.v2.bucketing.enabled。

开启后，Spark 将通过 SupportsReportPartitioning 识别 V2 数据源报告的特定分布，并尝试在按这些列排序时尽可能避免 shuffle。此配置要求启用 spark.sql.sources.v2.bucketing.enabled。

捕获的 DataFrame 查询上下文中非 Spark 堆栈跟踪的数量。

当为 true 时，如果表元数据中没有可用的表统计信息，它将回退到 HDFS。这在确定表是否足够小以使用广播连接时很有用。此标志仅对非分区 Hive 表有效。对于非分区数据源表，如果统计信息不可用，它将自动重新计算。对于分区数据源表和分区 Hive 表，如果统计信息不可用，则为 'spark.sql.defaultSizeInBytes'。

如果启用，在计算列统计信息时生成直方图。直方图可以提供更好的估算准确性。目前，Spark 仅支持等高直方图（equi-height histogram）。注意收集直方图需要额外的成本。例如，收集列统计信息通常只需要一次表扫描，但生成等高直方图会导致额外的表扫描。

启用表数据更改后表大小的自动更新。注意，如果表的总文件数非常大，这可能会很昂贵并减慢数据更改命令的速度。

启用此配置后，Spark 还将在 analyze table 命令（即 ANALYZE TABLE .. COMPUTE STATISTICS [NOSCAN]）中更新分区统计信息。注意该命令也会变得更加昂贵。当禁用此配置时，Spark 仅更新表级统计信息。

当将值插入具有不同数据类型的列时，Spark 将执行类型强制转换。目前，我们支持 3 种类型强制转换规则策略：ANSI, legacy 和 strict。使用 ANSI 策略，Spark 按照 ANSI SQL 执行类型强制转换。在实践中，其行为与 PostgreSQL 基本相同。它不允许某些不合理的类型转换，例如将 string 转换为 int 或将 double 转换为 boolean。使用 legacy 策略，只要是有效的 Cast，Spark 就允许类型强制转换，这非常宽松。例如，允许将 string 转换为 int 或将 double 转换为 boolean。这也是 Spark 2.x 中的唯一行为，并且与 Hive 兼容。使用 strict 策略，Spark 不允许类型强制转换中的任何可能的精度损失或数据截断，例如不允许将 double 转换为 int 或将 decimal 转换为 double。

用于存储流查询检查点数据的默认位置。

队列中用于等待后期 epoch 的最大条目数。如果队列大小超过此参数，流将停止并报错。

禁用 StreamWriteSupport 的完全限定数据源注册类名的逗号分隔列表。向这些源的写入将回退到 V1 Sinks。

文件源已完成文件清理器中使用的线程数。

当为 true 时，启用临时检查点位置强制删除。

是否为活动流查询报告 Dropwizard/Codahale 指标。

当流查询中有多个水印算子时计算全局水印值的策略。默认值为 'min'，选择跨多个算子报告的最小水印。另一种替代值是 'max'，选择跨多个算子的最大值。注意：此配置在来自同一检查点位置的查询重启之间不能更改。

流微批处理引擎是否将为有状态流查询执行无数据批次以进行即时状态管理。

为流查询保留的进度更新数量。

是否检查实时模式下使用的所有算子和接收器（sinks）是否都在允许列表中。

实时模式下最小长运行批次持续时间（毫秒）。

当为 true 时，流会话窗口在 shuffle 之前对本地分区中的会话进行排序和合并。这是为了减少需要 shuffle 的行数，但仅在批次中有大量行被分配给相同会话时才有效。

当为 true 时，Spark 将验证所有 StateStore 实例已为使用 foreachBatch 的有状态流查询提交。这有助于检测 foreachBatch 中的用户定义函数（例如 show(), limit()）未处理所有分区的情况，这可能导致错误的结果。该验证仅适用于没有全局聚合或限制的 foreachBatch 接收器。

有状态算子用于在状态存储中存储信息的编码格式。

当为 true 时，Spark 将根据现有状态上的模式验证状态模式，如果它们不兼容，则使查询失败。

不支持同时运行相同流查询的多次运行。如果我们发现流查询有并发的活动运行（在同一集群上的相同或不同 SparkSession 中）并且此标志为 true，我们将停止旧的流查询运行以启动新的运行。

调用流查询的 stop() 方法时等待流执行线程停止的时间（毫秒）。0 或负值表示无限期等待。

transformWithState 算子使用的状态模式版本。

当为 true 时，如果取消查询，所有正在运行的任务都将被中断。当为 false 时，所有正在运行的任务将保持直到完成。

在 Thrift Server 中设置查询持续时间超时（秒）。如果超时设置为正值，正在运行的查询将在超过超时时自动取消，否则查询将继续运行直到完成。如果通过 java.sql.Statement.setQueryTimeout 为每个语句设置了超时值，且它们小于此配置值，则它们优先。如果你设置了此超时并希望立即取消查询而不等待任务完成，请考虑同时启用 spark.sql.thriftServer.interruptOnCancel。

为 JDBC 客户端会话设置公平调度程序（Fair Scheduler）池。

JDBC/ODBC Web UI 历史记录中保留的 SQL 客户端会话数。

JDBC/ODBC Web UI 历史记录中保留的 SQL 语句数。

读取表时指定时间旅行（time travel）时间戳的选项名称。

读取表时指定时间旅行表版本的选项名称。

配置 Spark SQL 的默认时间戳类型，包括 SQL DDL、Cast 子句、类型字面量和数据源的模式推断。将配置设置为 TIMESTAMP_NTZ 将使用 TIMESTAMP WITHOUT TIME ZONE 作为默认类型，而设置为 TIMESTAMP_LTZ 将使用 TIMESTAMP WITH LOCAL TIME ZONE。在 3.4.0 版本发布之前，Spark 仅支持 TIMESTAMP WITH LOCAL TIME ZONE 类型。

当执行转置（transpose）而未指定索引列的值时，这是在不报错的情况下将转置的最大值数量。

当为 true 时，允许表值函数有多个表参数，接收这些表所有行的笛卡尔积。

配置 Spark SQL UI 中使用的查询解释模式。该值可以是 'simple', 'extended', 'codegen', 'cost' 或 'formatted'。默认值为 'formatted'。

这启用了使用 ${var}, ${system:var} 和 ${env:var} 等语法的替换。

实现了 org.apache.spark.sql.columnar.CachedBatchSerializer 的类名。它将用于将 SQL 数据转换为可以更有效缓存的格式。底层 API 可能会发生变化，因此请谨慎使用。不能指定多个类。该类必须具有无参数构造函数。

会话目录的默认数据库。

SQL 长度阈值，超过该阈值将在添加到事件之前被截断。默认为不截断。如果设置为 0，则记录调用站点（callsite）。

用于配置 Spark Session 扩展的实现了 Function1[SparkSessionExtensions, Unit] 的类的逗号分隔列表。这些类必须具有无参数构造函数。如果指定了多个扩展，它们将按指定顺序应用。对于规则和规划器策略，它们按指定顺序应用。对于解析器，使用最后一个解析器，并且每个解析器都可以委托给其前任。对于函数名称冲突，使用最后注册的函数名称。

确定我们是否应该使用 SparkSessionExtensionsProvider 机制从类路径加载扩展的标志。这是一个仅用于测试的标志。

对于 Spark SQL 通信的每个版本的 Hive，应明确重新加载的类前缀的逗号分隔列表。例如，在通常共享的前缀中声明的 Hive UDF（例如 org.apache.spark.*）。

用于实例化 HiveMetastoreClient 的 jar 包的位置。此属性可以是以下四个选项之一：1. "builtin" 使用 Hive 2.3.10，它在启用 -Phive 时与 Spark 程序集捆绑在一起。当选择此选项时，spark.sql.hive.metastore.version 必须为 2.3.10 或未定义。2. "maven" 使用从 Maven 仓库下载的指定版本的 Hive jar 包。3. "path" 使用以逗号分隔格式配置的 spark.sql.hive.metastore.jars.path 的 Hive jar 包。支持本地或远程路径。提供的 jar 包应与 spark.sql.hive.metastore.version 的版本相同。4. Hive 和 Hadoop 标准格式的类路径。提供的 jar 包应与 spark.sql.hive.metastore.version 的版本相同。

用于实例化 HiveMetastoreClient 的 jar 包的逗号分隔路径。此配置仅在 spark.sql.hive.metastore.jars 设置为 path 时有用。路径可以是以下任何格式：1. file://path/to/jar/foo.jar 2. hdfs://nameservice/path/to/jar/foo.jar 3. /path/to/jar/（无 URI 方案的路径遵循配置 fs.defaultFS 的 URI 方案） 4. [http/https/ftp]://path/to/jar/foo.jar 注意 1, 2 和 3 支持通配符。例如：1. file://path/to/jar/,file://path2/to/jar//.jar 2. hdfs://nameservice/path/to/jar/,hdfs://nameservice2/path/to/jar//.jar

应使用在 Spark SQL 和特定版本 Hive 之间共享的类加载器加载的类前缀的逗号分隔列表。应共享的类示例是与元数据存储通信所需的 JDBC 驱动程序。其他需要共享的类是那些与已经共享的类进行交互的类。例如，log4j 使用的自定义追加器（appenders）。

Hive 元数据存储的版本。可用选项为 2.0.0 到 2.3.10，3.0.0 到 3.1.3 以及 4.0.0 到 4.1.0。

当设置为 true 时，Hive Thrift 服务器以单会话模式运行。所有 JDBC/ODBC 连接共享临时视图、函数注册表、SQL 配置和当前数据库。

Spark 发行版自带的编译版本，即内置 Hive 版本。注意，这是一个只读配置，仅用于报告内置 Hive 版本。如果你希望 Spark 调用不同的元数据存储客户端，请参考 spark.sql.hive.metastore.version。

元数据缓存的生存时间 (TTL) 值：分区文件元数据缓存和会话目录缓存。此配置仅在具有正值 (> 0) 时生效。它还需要将 'spark.sql.catalogImplementation' 设置为 hive，将 'spark.sql.hive.filesourcePartitionFileCacheSize' 设置为 > 0，并将 'spark.sql.hive.manageFilesourcePartitions' 设置为 true，才能应用于分区文件元数据缓存。

实现 QueryExecutionListener 的类名列表，这些类将自动添加到新创建的会话中。这些类应该具有无参数构造函数，或者需要 SparkConf 参数的构造函数。

配置禁用的 JDBC 连接提供程序列表。该列表包含以逗号分隔的 JDBC 连接提供程序的名称。

实现 StreamingQueryListener 的类名列表，这些类将自动添加到新创建的会话中。这些类应该具有无参数构造函数，或者需要 SparkConf 参数的构造函数。

当启用 Spark Web UI 时，是否为 Spark 应用程序运行结构化流 Web UI。

结构化流 UI 为流查询保留的进度更新数量。

结构化流 UI 保留的非活动查询数量。

Spark UI 中保留的执行次数。

管理数据库和表的默认位置。

要在服务器端启用基于推送的 Shuffle，请将此配置设置为 org.apache.spark.network.shuffle.RemoteBlockPushResolver

在基于推送的 Shuffle 期间将合并的 Shuffle 文件划分为多个块时，块的最小大小。合并的 Shuffle 文件由多个小的 Shuffle 数据块组成。在单次磁盘 I/O 中获取完整的合并 Shuffle 文件会增加客户端和外部 Shuffle 服务的内存需求。相反，外部 Shuffle 服务以 MB 大小的块提供合并文件。
此配置控制块可以有多大。将为每个合并的 Shuffle 文件生成相应的索引文件，指示块边界。

设置得过高会增加客户端和外部 Shuffle 服务的内存需求。

设置得过低会不必要地增加对外部 Shuffle 服务的 RPC 请求总数。

推送到远程外部 Shuffle 服务的单个数据块的最大大小。大于此阈值的数据块不会被推送以进行远程合并。这些 Shuffle 数据块将以原始方式获取。

设置得过高会导致更多的数据块被推送到远程外部 Shuffle 服务，但这些数据块已经通过现有机制被高效地获取，从而导致将大数据块推送到远程外部 Shuffle 服务的额外开销。建议将 spark.shuffle.push.maxBlockSizeToPush 设置得小于 spark.shuffle.push.maxBlockBatchSize 配置的值。

设置得过低会导致合并的数据块数量减少，并直接从 Mapper 外部 Shuffle 服务获取结果，从而导致较高的随机小读取，影响整体磁盘 I/O 性能。