在 YARN 集群模式下运行时，此文件也将本地化到远程驱动程序，用于 SparkContext#addJar 中的依赖解析

• 在转发请求之前剥离路径前缀，
• 重写直接指向 Spark master 的重定向，
• 将从 http://mydomain.com/path/to/spark 的访问重定向到 http://mydomain.com/path/to/spark/（路径前缀后的斜杠）；否则主页上的相对链接无法正常工作。

请注意，此配置还会替换事件日志中的原始日志 URL，当在历史服务器上访问应用程序时，此配置也有效。新的日志 URL 必须是永久的，否则执行器日志 URL 可能会出现死链接。

目前，只有 YARN 和 K8s 集群管理器支持此配置

• 本地模式：本地机器上的核心数
• 其他模式：所有执行器节点上的核心总数或 2，取较大值

自适应优化期间（当 spark.sql.adaptive.enabled 为 true 时）shuffle 分区的建议大小（以字节为单位）。当 Spark 合并小的 shuffle 分区或拆分倾斜的 shuffle 分区时生效。

配置在执行连接时将广播到所有 worker 节点的最大表大小（以字节为单位）。通过将此值设置为 -1 可以禁用广播。默认值与 spark.sql.autoBroadcastJoinThreshold 相同。请注意，此配置仅在自适应框架中使用。

当 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 将根据目标大小（由 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定）合并连续的 shuffle 分区，以避免过多的小型任务。

合并之前的初始 shuffle 分区数。如果未设置，则等于 spark.sql.shuffle.partitions。此配置仅在 'spark.sql.adaptive.enabled' 和 'spark.sql.adaptive.coalescePartitions.enabled' 都为 true 时才有效。

合并后 shuffle 分区的最小大小。当分区合并期间自适应计算的目标大小过小时，这很有用。

当为 true 时，Spark 在合并连续的 shuffle 分区时不会遵守 'spark.sql.adaptive.advisoryPartitionSizeInBytes'（默认 64MB）指定的目标大小，而是根据 Spark 集群的默认并行度自适应地计算目标大小。计算出的尺寸通常小于配置的目标尺寸。这是为了在启用自适应查询执行时最大化并行度并避免性能退化。建议在繁忙的集群上将此配置设置为 false，以使资源利用更高效（任务数量不多的小任务）。

用于自适应执行的自定义成本评估器类。如果未设置，Spark 将默认使用其自己的 SimpleCostEvaluator。

当为 true 时，启用自适应查询执行，它根据准确的运行时统计信息在查询执行过程中重新优化查询计划。

当为 true 时，强制启用 OptimizeSkewedJoin，即使它会引入额外的 shuffle。

当 true 且 'spark.sql.adaptive.enabled' 为 true 时，当不需要 shuffle 分区时，Spark 尝试使用本地 shuffle 读取器读取 shuffle 数据，例如，在将排序合并连接转换为广播哈希连接之后。

配置每个分区允许构建本地哈希映射的最大字节大小。如果此值不小于 spark.sql.adaptive.advisoryPartitionSizeInBytes 且所有分区大小不大于此配置，则无论 spark.sql.join.preferSortMergeJoin 的值如何，连接选择都倾向于使用 shuffled hash join 而不是 sort merge join。

当 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 将在 RebalancePartitions 中优化倾斜的 shuffle 分区，并根据目标大小（由 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定）将其拆分为更小的分区，以避免数据倾斜。

配置要在自适应优化器中禁用的规则列表，其中规则通过其规则名称指定并用逗号分隔。优化器将记录实际已排除的规则。

如果分区的大小小于此因子乘以 spark.sql.adaptive.advisoryPartitionSizeInBytes，则该分区将在拆分期间被合并。

当 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 通过拆分（并在需要时复制）倾斜分区来动态处理 shuffle 连接（排序合并和 shuffle hash）中的倾斜。

如果分区的大小大于此因子乘以中位数分区大小并且也大于 'spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes'，则该分区被视为倾斜分区。

如果分区的大小（以字节为单位）大于此阈值，并且也大于 'spark.sql.adaptive.skewJoin.skewedPartitionFactor' 乘以中位数分区大小，则该分区被视为倾斜分区。理想情况下，此配置应设置为大于 'spark.sql.adaptive.advisoryPartitionSizeInBytes'。

如果为 true，Spark 将为所有已实现命名参数的函数启用命名参数支持。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，Spark SQL 将双引号 (") 引起来的字面量读取为标识符。当为 false 时，它们被读取为字符串字面量。

当为 true 时，Spark SQL 使用符合 ANSI 标准的方言而不是 Hive 方言。例如，当 SQL 运算符/函数的输入无效时，Spark 将在运行时抛出异常而不是返回 null 结果。有关此方言的完整详细信息，您可以在 Spark 文档的“ANSI Compliance”部分中找到。某些 ANSI 方言功能可能并非直接来自 ANSI SQL 标准，但它们的行为与 ANSI SQL 的风格一致。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，Spark SQL 解析器强制执行 ANSI 保留关键字，并禁止使用保留关键字作为表、视图、函数等的别名和/或标识符的 SQL 查询。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，在组合关系时，JOIN 优先于逗号。例如，t1, t2 JOIN t3 应该得到 t1 X (t2 X t3)。如果配置为 false，结果是 (t1 X t2) X t3。

配置在执行连接时将广播到所有 worker 节点的最大表大小（以字节为单位）。通过将此值设置为 -1 可以禁用广播。

写入 AVRO 文件时使用的压缩编解码器。支持的编解码器有：uncompressed、deflate、snappy、bzip2、xz 和 zstandard。默认编解码器是 snappy。

写入 AVRO 文件时 deflate 编解码器使用的压缩级别。有效值必须在 1 到 9（包括）或 -1 的范围内。默认值是 -1，这在当前实现中对应于 6 级。

当为 true 时，启用 Avro 数据源的过滤器下推。

写入 AVRO 文件时 xz 编解码器使用的压缩级别。有效值必须在 1 到 9（包括）的范围内。默认值是 6。

如果为 true，在写入 AVRO 文件时启用 ZSTD JNI 库的缓冲区池

写入 AVRO 文件时 zstandard 编解码器使用的压缩级别。

显示二进制数据时使用的输出样式。有效值包括 'UTF-8'、'BASIC'、'BASE64'、'HEX' 和 'HEX_DISCRETE'。

广播连接中广播等待时间的超时时间（秒）。

当为 true 时，如果连接两个具有不同桶数量的桶表，则具有较大桶数量的一方将被合并以与另一方具有相同数量的桶。较大桶数量可被较小桶数量整除。桶合并应用于排序合并连接和 shuffle hash 连接。注意：合并桶表可以避免连接中不必要的 shuffle，但它也会降低并行度，并可能导致 shuffled hash join 的 OOM。

两个桶合并的数量比率应小于或等于此值，以便应用桶合并。此配置仅在 'spark.sql.bucketing.coalesceBucketsInJoin.enabled' 设置为 true 时才有效。

一个目录实现，将用作 Spark 内置 v1 目录 spark_catalog 的 v2 接口。此目录与 spark_catalog 共享其标识符命名空间，并且必须与其保持一致；例如，如果 spark_catalog 可以加载表，则此目录也必须返回表元数据。要将操作委托给 spark_catalog，实现可以扩展 'CatalogExtension'。该值应为 'builtin'（表示 Spark 的内置 V2SessionCatalog）或目录实现的完全限定类名。

设置为 true 时，启用 CBO 以估计计划统计信息。

将星型连接过滤器启发式应用于基于成本的连接枚举。

动态规划算法中允许的最大连接节点数。

在 CBO 中启用连接重新排序。

当为 true 时，逻辑计划将从目录中获取行数和列统计信息。

当为 true 时，它启用基于星型模式检测的连接重新排序。

当为 true 时，Spark 会在 CREATE/REPLACE/ALTER TABLE 命令中用 VARCHAR 类型替换 CHAR 类型，以便新创建/更新的表不会有 CHAR 类型列/字段。现有表中带有 CHAR 类型列/字段的表不受此配置的影响。

是否截断由 Base64 函数生成的字符串。当为 true 时，base64 函数生成的 base64 字符串将被分块为最多 76 个字符的行。当为 false 时，base64 字符串不分块。

当设置为 true 时，spark-sql CLI 在查询输出中打印列名。

用于存储无法解析的原始/未解析 JSON 和 CSV 记录的内部列的名称。

当为 true 时，启用 CSV 数据源的过滤器下推。

如果配置属性设置为 true，Java 8 API 的 java.time.Instant 和 java.time.LocalDate 类将用作 Catalyst 的 TimestampType 和 DateType 的外部类型。如果设置为 false，则使用 java.sql.Timestamp 和 java.sql.Date 来实现相同的目的。

在调试输出中，序列样条目可转换为字符串的最大字段数。超出限制的任何元素都将被丢弃并替换为“... N more fields”占位符。

dataset.cache()、catalog.cacheTable() 和 SQL 查询 CACHE TABLE t 的默认存储级别。

默认目录的名称。如果用户尚未明确设置当前目录，这将是当前目录。

当为 PRETTY 时，错误消息由错误类、消息和查询上下文的文本表示组成。MINIMAL 和 STANDARD 格式是漂亮的 JSON 格式，其中 STANDARD 包含一个额外的 JSON 字段 message。此配置属性影响 Thrift Server 和 SQL CLI 在运行查询时的错误消息。

（自 Spark 3.0 起已弃用，请设置 'spark.sql.execution.arrow.pyspark.enabled'。）

（自 Spark 3.0 起已弃用，请设置 'spark.sql.execution.arrow.pyspark.fallback.enabled'。）

当将 Arrow 批处理转换为 Spark DataFrame 时，如果 Arrow 批处理的字节大小小于此阈值，则在驱动程序端使用本地集合。否则，Arrow 批处理将被发送并反序列化为执行器中的 Spark 内部行。

使用 Apache Arrow 时，限制可以写入内存中单个 ArrowRecordBatch 的最大记录数。此配置对于分组 API（例如 DataFrame(.cogroup).groupby.applyInPandas）无效，因为每个组都成为一个 ArrowRecordBatch。如果设置为零或负数，则没有限制。另请参阅 spark.sql.execution.arrow.maxBytesPerBatch。如果两者都设置，则当满足其中任何一个条件时创建每个批处理。

当为 true 时，在 PySpark 中使用 Apache Arrow 进行列式数据传输。此优化适用于：1. pyspark.sql.DataFrame.toPandas。2. pyspark.sql.SparkSession.createDataFrame，当其输入是 Pandas DataFrame 或 NumPy ndarray 时。不支持以下数据类型：TimestampType 的 ArrayType。

当为 true 时，如果发生错误，'spark.sql.execution.arrow.pyspark.enabled' 启用的优化将自动回退到非优化实现。

（实验性）当为 true 时，在 PySpark 中从 Arrow 转换为 Pandas 时，利用 Apache Arrow 的自毁和拆分块选项进行列式数据传输。这以牺牲一些 CPU 时间为代价减少了内存使用。此优化适用于：当设置 'spark.sql.execution.arrow.pyspark.enabled' 时 pyspark.sql.DataFrame.toPandas。

当为 true 时，在 SparkR 中使用 Apache Arrow 进行列式数据传输。此优化适用于：1. createDataFrame，当其输入为 R DataFrame 时；2. collect；3. dapply；4. gapply。不支持以下数据类型：FloatType、BinaryType、ArrayType、StructType 和 MapType。

使用 TransformWithStateInPandas 时，限制可写入内存中单个 ArrowRecordBatch 的最大状态记录数。

使用 Apache Arrow 时，对字符串和二进制类型使用大型可变宽度向量。常规字符串和二进制类型在单个记录批处理中，列的限制为 2GiB。大型可变类型消除了此限制，但每个值的内存使用量更高。

当为 true 时，如果一个取消查询，所有正在运行的任务将被中断。

当为 true 时，spark.createDataFrame 会将 Pandas DataFrame 中的 dict 推断为 MapType。当为 false 时，spark.createDataFrame 会将 Pandas DataFrame 中的 dict 推断为 StructType，这是 PyArrow 的默认推断方式。

创建 pandas DataFrame 时结构体类型的转换模式。当为 "legacy" 时，1. 当 Arrow 优化被禁用时，转换为 Row 对象；2. 当 Arrow 优化被启用时，转换为 dict，如果存在重复的嵌套字段名则抛出异常。当为 "row" 时，无论 Arrow 优化如何，都转换为 Row 对象。当为 "dict" 时，转换为 dict 并使用后缀键名（例如 a_0, a_1），如果存在重复的嵌套字段名，无论 Arrow 优化如何。

与 spark.buffer.size 相同，但仅适用于 Pandas UDF 执行。如果未设置，则回退到 spark.buffer.size。请注意，Pandas 执行需要超过 4 个字节。降低此值可能会使小的 Pandas UDF 批处理进行迭代和管道化；但是，这可能会降低性能。请参阅 SPARK-27870。

与 spark.python.worker.faulthandler.enabled 相同，用于使用 DataFrame 和 SQL 的 Python 执行。它可以在运行时更改。

当为 true 时，只显示 Python UDF 的异常消息，隐藏堆栈跟踪。如果启用此选项，simplifiedTraceback 将无效。

与 spark.python.worker.idleTimeoutSeconds 相同，用于使用 DataFrame 和 SQL 的 Python 执行。它可以在运行时更改。

当为 true 时，Python UDF 的回溯被简化。它在回溯中隐藏了 PySpark 的 Python worker、（反）序列化等，并且只显示 UDF 的异常消息。请注意，这仅适用于 CPython 3.7+。

与 spark.buffer.size 相同，但仅适用于 Python UDF 执行。如果未设置，则回退到 spark.buffer.size。

使用 Python UDF 时，限制可批量进行序列化/反序列化的最大记录数。

执行 Arrow 优化 Python UDF 的并发级别。如果 Python UDF 密集使用 I/O，这会很有用。

在常规 Python UDF 中启用 Arrow 优化。此优化仅在给定函数至少带有一个参数时才能启用。

为 Python UDTF 启用 Arrow 优化。

在包含 SORT 后跟 LIMIT 的 SQL 查询（例如 'SELECT x FROM t ORDER BY y LIMIT m'）中，如果 m 低于此阈值，则在内存中执行 top-K 排序，否则执行全局排序，必要时溢出到磁盘。

逗号分隔的类列表，这些类实现了 org.apache.spark.sql.ExtendedExplainGenerator 特性。如果提供，Spark 将在 explain plan 和 UI 中打印来自这些提供程序的扩展计划信息。

是否忽略损坏的文件。如果为 true，Spark 作业在遇到损坏的文件时将继续运行，并且已读取的内容仍将返回。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

是否忽略不匹配 <column>=<value> 的无效分区路径。启用此选项时，包含两个分区目录 'table/invalid' 和 'table/col=1' 的表将仅加载后一个目录并忽略无效分区。

是否忽略缺失的文件。如果为 true，Spark 作业在遇到缺失的文件时将继续运行，并且已读取的内容仍将返回。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

读取文件时要打包到单个分区中的最大字节数。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

建议（不保证）的最大拆分文件分区数。如果设置了此值，当初始分区数超过此值时，Spark 将重新调整每个分区，使分区数接近此值。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

写入单个文件的最大记录数。如果此值为零或负数，则没有限制。

建议（不保证）的最小拆分文件分区数。如果未设置，默认值为 spark.sql.leafNodeDefaultParallelism。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

当此选项设置为 false 并且所有输入都是二进制时，functions.concat 将输出返回为二进制。否则，它将输出返回为字符串。

当此选项设置为 false 并且所有输入都是二进制时，elt 将输出返回为二进制。否则，它将输出返回为字符串。

当为 true 时，select 列表中的别名可以在 group by 子句中使用。当为 false 时，在这种情况下会抛出分析异常。

当为 true 时，group by 子句中的序号被视为 select 列表中的位置。当为 false 时，序号被忽略。

当设置为 true，并且 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 为 true 时，将使用内置的 ORC/Parquet 写入器处理使用 HiveSQL 语法创建的分区 ORC/Parquet 表的插入操作。

当设置为 true，并且 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 为 true 时，将使用内置的 ORC/Parquet 写入器处理使用 HiveSQL 语法创建的非分区 ORC/Parquet 表的插入操作。

当设置为 true 时，Spark 将尝试在 CTAS 中使用内置数据源写入器而不是 Hive serde。此标志仅当分别针对 Parquet 和 ORC 格式启用了 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 时才有效。

当设置为 true 时，Spark 将尝试在 INSERT OVERWRITE DIRECTORY 中使用内置数据源写入器而不是 Hive serde。此标志仅当分别针对 Parquet 和 ORC 格式启用了 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 时才有效。

当设置为 true 时，将使用内置的 ORC 读取器和写入器来处理使用 HiveQL 语法创建的 ORC 表，而不是 Hive serde。

当设置为 true 时，将使用内置的 Parquet 读取器和写入器来处理使用 HiveQL 语法创建的 parquet 表，而不是 Hive serde。

当为 true 时，还会尝试合并不同 Parquet 数据文件中可能不同但兼容的 Parquet 模式。此配置仅在 "spark.sql.hive.convertMetastoreParquet" 为 true 时有效。

当为 true 时，Spark 将获取分区名称而不是分区对象来删除分区，这可以提高删除分区的性能。

当非零时，启用内存中分区文件元数据的缓存。所有表共享一个缓存，该缓存最多可以使用指定字节数的文件的元数据。此配置仅在启用 hive 文件源分区管理时才有效。

当为 true 时，也为文件源表启用元数据存储分区管理。这包括数据源表和转换后的 Hive 表。当启用分区管理时，数据源表将分区存储在 Hive 元数据存储中，并在查询计划期间当 spark.sql.hive.metastorePartitionPruning 设置为 true 时，使用元数据存储修剪分区。

当为 true 时，一些谓词将被下推到 Hive 元数据存储中，以便可以更早地消除不匹配的分区。

当遇到来自元数据存储的 MetaException 时，是否回退到从 Hive 元数据存储获取所有分区并在 Spark 客户端执行分区裁剪。请注意，如果启用此选项且有大量分区需要列出，则 Spark 查询性能可能会下降。如果禁用此选项，Spark 将失败查询。

当启用此配置时，如果谓词不受 Hive 支持或者 Spark 因遇到来自元数据存储的 MetaException 而回退，Spark 将改为通过首先获取分区名称，然后客户端评估过滤表达式来裁剪分区。请注意，不支持带有 TimeZoneAwareExpression 的谓词。

当设置为 true 时，Hive Thrift 服务器将以异步方式执行 SQL 查询。

启用时，我们使用 ICU 库（而不是 JVM）来实现 UTF8_BINARY 排序规则下字符串的大小写映射。

控制列式缓存的批处理大小。更大的批处理大小可以提高内存利用率和压缩率，但在缓存数据时有 OOM 风险。

当设置为 true 时，Spark SQL 将根据数据统计信息自动为每列选择一个压缩编解码器。

为列式缓存启用向量化读取器。

当 spark.sql.inMemoryColumnarStorage.hugeVectorThreshold <= 0 或所需内存小于 spark.sql.inMemoryColumnarStorage.hugeVectorThreshold 时，Spark 会保留所需内存 * 2 的内存；否则，Spark 会保留所需内存 * 此比率的内存，并在读取下一批行之前释放此列向量内存。

当所需内存大于此值时，Spark 将在下次保留所需内存 * spark.sql.inMemoryColumnarStorage.hugeVectorReserveRatio 内存，并在读取下一批行之前释放此列向量内存。-1 表示禁用此优化。

当为 true 时，启用 JSON 数据源的过滤器下推。

当设置为 true 时，在 JSON 解析器中使用 UnsafeRow 表示结构体结果。它可以被 JSON 选项 useUnsafeRow 覆盖。

在 JSON 数据源和诸如 to_json 等 JSON 函数中生成 JSON 对象时是否忽略 null 字段。如果为 false，则为 JSON 对象中的 null 字段生成 null。

生成数据的 Spark SQL 叶节点的默认并行度，例如文件扫描节点、本地数据扫描节点、范围节点等。此配置的默认值是 'SparkContext#defaultParallelism'。

内置函数（CreateMap、MapFromArrays、MapFromEntries、StringToMap、MapConcat 和 TransformKeys）中去重 map 键的策略。当为 EXCEPTION 时，如果检测到重复的 map 键，查询将失败。当为 LAST_WIN 时，最后插入的 map 键优先。

以逗号分隔的字符串配置，用于可选的附加远程 Maven 镜像仓库。这仅在默认 Maven Central 仓库不可达时，用于 IsolatedClientLoader 中下载 Hive jar 包。

元数据字符串输出的最大字符数。例如，在 DataSourceScanExec 中的文件位置，如果超出长度，每个值都将被缩写。

计划字符串输出的最大字符数。如果计划更长，后续输出将被截断。默认设置始终生成完整计划。如果计划字符串占用过多内存或导致驱动程序或 UI 进程中出现 OutOfMemory 错误，请将其设置为较低的值，例如 8k。

单个分区允许的最大字节数。否则，规划器将引入 shuffle 以提高并行度。

如果为 true，则为 Apache Spark SQL 启用操作符管道语法。这使用操作符管道标记 |> 来表示 SQL 子句之间的分隔，以一种可组合的方式描述查询执行的步骤序列。

是否避免折叠会在 UDF 中复制昂贵表达式的投影。

是否总是折叠两个相邻的投影并内联表达式，即使这会导致额外的重复。

当为 true 时，当分区列用作连接键时，我们将为分区列生成谓词。

是否在 SQL 优化器中优化 CSV 表达式。它包括从 from_csv 中修剪不必要的列。

是否在 SQL 优化器中优化 JSON 表达式。它包括从 from_json 中修剪不必要的列，简化 from_json + to_json，to_json + named_struct(from_json.col1, from_json.col2, ....)。

配置要在优化器中禁用的规则列表，其中规则通过其规则名称指定并用逗号分隔。不保证此配置中的所有规则最终都将被排除，因为某些规则对于正确性是必需的。优化器将记录实际已排除的规则。

布隆过滤器应用侧计划的聚合扫描大小的字节大小阈值。布隆过滤器应用侧的聚合扫描字节大小需要超过此值才能注入布隆过滤器。

布隆过滤器创建侧计划的大小阈值。估计大小需要在此值以下才能尝试注入布隆过滤器。

当为 true 且 shuffle 连接的一侧具有选择性谓词时，我们尝试在另一侧插入布隆过滤器以减少 shuffle 数据量。

运行时布隆过滤器的默认预期项目数

运行时布隆过滤器使用的最大位数

运行时布隆过滤器允许的最大预期项数

运行时布隆过滤器默认使用的位数

为基于组的行级操作启用运行时组过滤。在规划行级操作扫描时，替换数据组（例如文件、分区）的数据源可以使用提供的数据源过滤器来修剪整个组。然而，这种过滤是有限的，因为并非所有表达式都可以转换为数据源过滤器，并且某些表达式只能由Spark评估（例如子查询）。由于重写组的成本很高，Spark可以在运行时执行查询以查找哪些记录符合行级操作的条件。关于匹配记录的信息将被传递回行级操作扫描，允许数据源丢弃不需要重写的组。

单个查询注入的运行时过滤器（非DPP）的总数。这是为了防止由于过多的布隆过滤器导致驱动程序OOM。

如果为true，聚合操作将被下推到ORC以进行优化。支持MIN、MAX和COUNT作为聚合表达式。对于MIN/MAX，支持布尔、整数、浮点和日期类型。对于COUNT，支持所有数据类型。如果任何ORC文件页脚中缺少统计信息，将抛出异常。

ORC向量化读取器批次中包含的行数。应仔细选择此数字，以最大程度地减少开销并避免读取数据时的OOM。

ORC向量化写入器批次中包含的行数。应仔细选择此数字，以最大程度地减少开销并避免写入数据时的OOM。

设置写入ORC文件时使用的压缩编解码器。如果表特定的选项/属性中同时指定了compression或orc.compress，则优先级顺序为compression、orc.compress、spark.sql.orc.compression.codec。可接受的值包括：none、uncompressed、snappy、zlib、lzo、zstd、lz4、brotli。

启用嵌套列的向量化ORC解码。

启用向量化ORC解码。

当为true时，为ORC文件启用过滤器下推。

当为true时，ORC数据源会合并从所有数据文件中收集到的Schema；否则，Schema将从随机数据文件中选取。

当为true时，序号被视为SELECT列表中的位置。当为false时，order/sort by子句中的序号将被忽略。

如果为true，聚合操作将被下推到Parquet以进行优化。支持MIN、MAX和COUNT作为聚合表达式。对于MIN/MAX，支持布尔、整数、浮点和日期类型。对于COUNT，支持所有数据类型。如果任何Parquet文件页脚中缺少统计信息，将抛出异常。

其他一些Parquet生成系统，特别是Impala和较旧版本的Spark SQL，在写入Parquet Schema时，不区分二进制数据和字符串。此标志告诉Spark SQL将二进制数据解释为字符串，以提供与这些系统的兼容性。

Parquet向量化读取器批次中包含的行数。应仔细选择此数字，以最大程度地减少开销并避免读取数据时的OOM。

设置写入Parquet文件时使用的压缩编解码器。如果表特定的选项/属性中同时指定了compression或parquet.compression，则优先级顺序为compression、parquet.compression、spark.sql.parquet.compression.codec。可接受的值包括：none、uncompressed、snappy、gzip、lzo、brotli、lz4、lz4_raw、zstd。

启用嵌套列（例如，struct、list、map）的向量化Parquet解码。需要启用spark.sql.parquet.enableVectorizedReader。

启用向量化Parquet解码。

字段ID是Parquet Schema规范的一个原生字段。启用后，Parquet读取器将使用请求的Spark Schema中的字段ID（如果存在）来查找Parquet字段，而不是使用列名。

当Parquet文件没有任何字段ID但Spark读取Schema使用字段ID进行读取时，如果此标志启用，我们将静默返回null，否则报错。

字段ID是Parquet Schema规范的一个原生字段。启用后，Parquet写入器将在Spark Schema中填充字段ID元数据（如果存在）到Parquet Schema。

当设置为true时，启用Parquet过滤器下推优化。

启用后，在Schema推断期间，带有annotation isAdjustedToUTC = false的Parquet时间戳列将被推断为TIMESTAMP_NTZ类型。否则，所有Parquet时间戳列都将被推断为TIMESTAMP_LTZ类型。请注意，Spark在文件写入时会将输出Schema写入Parquet的页脚元数据，并在文件读取时利用它。因此，此配置仅影响非Spark写入的Parquet文件的Schema推断。

其他一些Parquet生成系统，特别是Impala，将Timestamp存储为INT96。Spark也会将Timestamp存储为INT96，因为我们需要避免纳秒字段的精度损失。此标志告诉Spark SQL将INT96数据解释为时间戳，以提供与这些系统的兼容性。

这控制了在将Impala写入的INT96数据转换为时间戳时，是否应应用时间戳调整。这是必要的，因为Impala存储INT96数据时使用的时区偏移与Hive和Spark不同。

当为true时，Parquet数据源会合并从所有数据文件中收集到的Schema；否则，如果存在摘要文件，则从摘要文件中选取Schema，如果没有摘要文件，则从随机数据文件中选取。

设置Spark写入Parquet文件时使用的Parquet时间戳类型。INT96是Parquet中一种非标准但常用的时间戳类型。TIMESTAMP_MICROS是Parquet中的标准时间戳类型，它存储自Unix纪元以来的微秒数。TIMESTAMP_MILLIS也是标准类型，但精度为毫秒，这意味着Spark必须截断其时间戳值的微秒部分。

如果为true，则使用下推过滤器启用Parquet的原生记录级过滤。此配置仅在启用“spark.sql.parquet.filterPushdown”且未使用向量化读取器时生效。您可以通过将“spark.sql.parquet.enableVectorizedReader”设置为false来确保不使用向量化读取器。

当为true时，我们假设Parquet的所有分部文件与摘要文件一致，并且在合并Schema时将忽略它们。否则，如果此项为false（默认值），我们将合并所有分部文件。这应被视为专家级选项，在完全了解其含义之前不应启用。

如果为true，数据将以Spark 1.4及更早版本的方式写入。例如，十进制值将以Apache Parquet的固定长度字节数组格式写入，Apache Hive和Apache Impala等其他系统使用此格式。如果为false，则将使用Parquet中的较新格式。例如，十进制将以基于int的格式写入。如果Parquet输出旨在与不支持此较新格式的系统一起使用，请将其设置为true。

当为true时，SELECT语句中带引号的标识符（使用反引号）将被解释为正则表达式。

当进行透视而不指定透视列的值时，这是将收集到的（不重复的）值的最大数量，超过此数量将报错。

指定Spark驱动程序中执行Python代码的内存分配，单位为MiB。设置后，它将Python执行的内存限制为指定量。如果未设置，Spark将不限制Python的内存使用，并且由应用程序负责避免超出与其他非JVM进程共享的开销内存空间。注意：Windows不支持资源限制，MacOS上实际资源不受限制。

当为true时，Spark不会用STRING类型替换CHAR/VARCHAR类型，这是Spark 3.0及更早版本的默认行为。这意味着CHAR/VARCHAR类型的长度检查将强制执行，并且CHAR类型也将正确填充。

PySpark的SparkSession.createDataFrame默认将嵌套字典推断为map。当设置为true时，它将嵌套字典推断为struct。

当为true时，它会在面向用户的PySpark异常中显示JVM堆栈跟踪以及Python堆栈跟踪。默认情况下，为了隐藏JVM堆栈跟踪并仅显示Python友好的异常，此功能是禁用的。请注意，这与日志级别设置无关。

图表的视觉限制。如果为基于top-n的图表（饼图、条形图、横向条形图）设置为1000，则将使用前1000个数据点进行绘图。对于基于采样的图表（散点图、面积图、折线图），将随机采样1000个数据点。

通过启用或禁用并选择“perf”或“memory”类型来配置Python/Pandas UDF分析器，或取消设置此配置以禁用分析器。此功能默认禁用。

当为true时，Spark在读取CHAR类型列/字段时应用字符串填充，除了写入端的填充。此配置默认为true，以在外部表等情况下更好地强制执行CHAR类型语义。

用于决定Spark SQL命令选项映射中哪些键包含敏感信息的正则表达式。名称与此正则表达式匹配的选项值将在解释输出中被删除。此删除在由spark.redaction.regex定义的全局删除配置之上应用。

用于决定Spark生成的字符串中哪些部分包含敏感信息的正则表达式。当此正则表达式匹配字符串部分时，该字符串部分将被替换为虚拟值。此功能目前用于删除SQL解释命令的输出。如果未设置此配置，则使用spark.redaction.string.regex的值。

是否启用即时求值。当为true时，仅当REPL支持即时求值时，才会显示Dataset的前K行。目前，PySpark和SparkR支持即时求值。在PySpark中，对于Jupyter等笔记本，将返回HTML表格（由repr_html生成）。对于纯Python REPL，返回的输出将格式化为dataframe.show()。在SparkR中，返回的输出将类似于R data.frame的显示方式。

即时求值返回的最大行数。此设置仅在spark.sql.repl.eagerEval.enabled设置为true时生效。此配置的有效范围是0到(Int.MaxValue - 1)，因此负值和大于(Int.MaxValue - 1)的无效配置将被规范化为0和(Int.MaxValue - 1)。

即时求值返回的每个单元格的最大字符数。此设置仅在spark.sql.repl.eagerEval.enabled设置为true时生效。

SQL脚本功能正在开发中，其使用应在此功能标志下进行。SQL脚本允许用户编写包括控制流和错误处理的过程式SQL。

本地关系序列化后在驱动程序端缓存的大小（字节）阈值。

会话本地时区的ID，格式为基于区域的时区ID或时区偏移量。区域ID必须是“area/city”的形式，例如“America/Los_Angeles”。时区偏移量必须是“（+|-）HH”、“（+|-）HH:mm”或“（+|-）HH:mm:ss”的格式，例如“-08”、“+01:00”或“-13:33:33”。此外，“UTC”和“Z”支持作为“+00:00”的别名。不建议使用其他短名称，因为它们可能含义模糊。

在进行连接或聚合操作时，用于数据混洗的默认分区数。注意：对于结构化流，此配置在从同一检查点位置重新启动查询之间不能更改。

启用后，混洗文件将在Spark Connect SQL执行结束时清理。

启用后，Spark Connect SQL执行的混洗依赖项将在执行结束时标记，并且在退役期间不会迁移。

如果小方的数据大小乘以这个因子仍然小于大方，则可以选择混洗哈希连接。

当为true时，根据查询计划自动决定是否对输入表执行分桶扫描。如果满足以下条件，则不使用分桶扫描：1. 查询没有利用分桶的运算符（例如join、group-by等），或2. 这些运算符和表扫描之间存在交换运算符。请注意，当“spark.sql.sources.bucketing.enabled”设置为false时，此配置不生效。

当为false时，我们将分桶表视为普通表

允许的最大分桶数。

输入/输出中使用的默认数据源。

在驱动程序端允许列出文件的最大路径数。如果在分区发现期间检测到的路径数超过此值，它将尝试使用另一个Spark分布式作业列出文件。此配置仅在使用基于文件的源（如Parquet、JSON和ORC）时有效。

当为true时，自动推断分区列的数据类型。

当INSERT OVERWRITE分区数据源表时，我们目前支持两种模式：静态（static）和动态（dynamic）。在静态模式下，Spark在覆盖之前，会删除INSERT语句中所有匹配分区规范（例如PARTITION(a=1,b)）的分区。在动态模式下，Spark不会预先删除分区，而只在运行时覆盖那些有数据写入的分区。默认情况下，我们使用静态模式以保持Spark 2.3之前的相同行为。请注意，此配置不影响Hive serde表，因为它们始终以动态模式覆盖。这也可以作为数据源的输出选项，使用键partitionOverwriteMode设置（此设置优先），例如dataframe.write.option("partitionOverwriteMode", "dynamic").save(path)。

是否允许在分区转换兼容但不完全相同的情况下进行存储分区连接。此配置要求spark.sql.sources.v2.bucketing.enabled和spark.sql.sources.v2.bucketing.pushPartValues.enabled都启用，并且spark.sql.sources.v2.bucketing.partiallyClusteredDistribution.enabled禁用。

是否允许在连接键是源表分区键子集的情况下进行存储分区连接。在规划时，Spark将仅根据连接键对分区进行分组。目前仅在spark.sql.requireAllClusterKeysForDistribution为false时启用此功能。

与spark.sql.sources.bucketing.enabled类似，此配置用于为V2数据源启用分桶。启用后，Spark将通过SupportsReportPartitioning识别V2数据源报告的特定分布，并在必要时尝试避免混洗。

在存储分区连接期间，当连接双方都为KeyGroupedPartitioning时，是否允许输入分区部分集群化。在规划时，Spark将根据表统计信息选择数据量较少的一方，对其进行分组和复制以匹配另一方。这是对倾斜连接的优化，当某些分区分配大量数据时，有助于减少数据倾斜。此配置要求spark.sql.sources.v2.bucketing.enabled和spark.sql.sources.v2.bucketing.pushPartValues.enabled都启用。

运行存储分区连接时是否过滤分区。启用后，如果连接类型允许，可以省略另一侧不匹配的分区进行扫描。此配置要求spark.sql.sources.v2.bucketing.enabled和spark.sql.sources.v2.bucketing.pushPartValues.enabled都启用。

当spark.sql.sources.v2.bucketing.enabled启用时，是否下推常用分区值。启用后，如果连接的双方都是KeyGroupedPartitioning，并且它们共享兼容的分区键，即使它们没有完全相同的分区值，Spark也将计算分区值的超集并将该信息下推到扫描节点，扫描节点将为任一侧缺失的分区值使用空分区。这有助于消除不必要的混洗。

在存储分区连接期间，是否允许仅混洗一方。当只有一方是KeyGroupedPartitioning时，如果满足条件，Spark将只混洗另一方。此优化将减少需要混洗的数据量。此配置要求spark.sql.sources.v2.bucketing.enabled启用。

启用后，Spark将通过SupportsReportPartitioning识别V2数据源报告的特定分布，并尝试在按这些列排序时尽可能避免混洗。此配置要求spark.sql.sources.v2.bucketing.enabled启用。

捕获的DataFrame查询上下文中非Spark堆栈跟踪的数量。

当为true时，如果表统计信息无法从表元数据中获取，它将回退到HDFS。这对于确定表是否足够小以使用广播连接非常有用。此标志仅对非分区Hive表有效。对于非分区数据源表，如果表统计信息不可用，它将自动重新计算。对于分区数据源和分区Hive表，如果表统计信息不可用，则为“spark.sql.defaultSizeInBytes”。

如果启用，则在计算列统计信息时生成直方图。直方图可以提供更好的估计精度。目前，Spark只支持等高直方图。请注意，收集直方图会产生额外成本。例如，收集列统计信息通常只需要一次表扫描，但生成等高直方图将导致额外的表扫描。

启用表数据更改后自动更新表大小。请注意，如果表的总文件数非常大，这可能会很昂贵并减慢数据更改命令。

当此配置启用时，Spark还将在analyze table命令（即ANALYZE TABLE .. COMPUTE STATISTICS [NOSCAN]）中更新分区统计信息。请注意，该命令也将变得更加昂贵。当此配置禁用时，Spark将仅更新表级别统计信息。

当将值插入到具有不同数据类型的列时，Spark将执行类型强制转换。目前，我们支持3种类型强制转换规则策略：ANSI、legacy和strict。使用ANSI策略，Spark按照ANSI SQL执行类型强制转换。实际上，其行为与PostgreSQL基本相同。它不允许某些不合理的类型转换，例如将string转换为int或将double转换为boolean。使用legacy策略，Spark允许类型强制转换，只要它是有效的Cast，这非常宽松。例如，允许将string转换为int或将double转换为boolean。这也是Spark 2.x中唯一的行为，并且与Hive兼容。使用strict策略，Spark不允许类型强制转换中任何可能的精度损失或数据截断，例如，不允许将double转换为int或将decimal转换为double。

用于存储流式查询检查点数据的默认位置。

队列中存储以等待延迟时期的最大条目数。如果此参数超出队列大小，流将停止并报错。

一个逗号分隔的完全限定数据源注册类名列表，其中StreamWriteSupport被禁用。写入这些源将回退到V1 Sinks。

文件源已完成文件清理器中使用的线程数。

当为true时，启用临时检查点位置强制删除。

是否为活动流查询报告Dropwizard/Codahale指标。

当流式查询中存在多个水印运算符时，计算全局水印值的策略。默认值为“min”，它选择多个运算符报告的最小水印。另一个可选值为“max”，它选择多个运算符中的最大值。注意：此配置在从同一检查点位置重新启动查询之间不能更改。

流式微批处理引擎是否会执行无数据的批处理，以便对有状态流查询进行急切状态管理。

为流式查询保留的进度更新数

当为true时，流式会话窗口在混洗之前在本地分区中排序和合并会话。这是为了减少混洗的行数，但仅在批处理中有大量行分配给同一会话时才有利。

有状态运算符用于在状态存储中存储信息的编码格式

当为true时，Spark将根据现有状态的Schema验证状态Schema，如果Schema不兼容，则查询将失败。

不支持同时运行同一个流查询的多个实例。如果发现同一个流查询（在同一集群上相同或不同的SparkSession中）存在并发活动实例，并且此标志为true，我们将停止旧的流查询实例以启动新的实例。

调用流查询的stop()方法时，等待流执行线程停止的毫秒数。0或负值表示无限期等待。

transformWithState运算符使用的状态Schema版本

当为true时，如果取消一个查询，所有正在运行的任务都将被中断。当为false时，所有正在运行的任务将继续直到完成。

在Thrift Server中设置查询持续时间超时（秒）。如果超时设置为正值，则当超时超出时，正在运行的查询将自动取消，否则查询将继续运行直至完成。如果通过java.sql.Statement.setQueryTimeout为每个语句设置了超时值且小于此配置值，则它们优先。如果您设置此超时并希望立即取消查询而不等待任务完成，请考虑同时启用spark.sql.thriftServer.interruptOnCancel。

为JDBC客户端会话设置公平调度器池。

JDBC/ODBC Web UI历史中保留的SQL客户端会话数。

JDBC/ODBC Web UI历史中保留的SQL语句数。

读取表时指定时间旅行时间戳的选项名称。

读取表时指定时间旅行表版本的选项名称。

配置Spark SQL的默认时间戳类型，包括SQL DDL、Cast子句、类型字面量和数据源的Schema推断。将配置设置为TIMESTAMP_NTZ将使用TIMESTAMP WITHOUT TIME ZONE作为默认类型，而设置为TIMESTAMP_LTZ将使用TIMESTAMP WITH LOCAL TIME ZONE。在3.4.0版本之前，Spark仅支持TIMESTAMP WITH LOCAL TIME ZONE类型。

当进行转置而不指定索引列的值时，这是将转置的最大值数量，超过此数量将报错。

当为true时，允许表值函数有多个表参数，接收这些表所有行的笛卡尔积。

配置Spark SQL UI中使用的查询解释模式。值可以是“simple”、“extended”、“codegen”、“cost”或“formatted”。默认值为“formatted”。

这将启用使用${var}、${system:var}和${env:var}等语法的替换。

实现org.apache.spark.sql.columnar.CachedBatchSerializer接口的类名。它将用于将SQL数据转换为可以更有效缓存的格式。底层API可能会更改，因此请谨慎使用。不能指定多个类。该类必须有一个无参数构造函数。

会话目录的默认数据库。

SQL长度超过此阈值时，将在添加到事件之前截断。默认为不截断。如果设置为0，将记录调用站点。

一个逗号分隔的类列表，这些类实现了Function1[SparkSessionExtensions, Unit]，用于配置Spark Session扩展。这些类必须具有无参数构造函数。如果指定了多个扩展，则按指定顺序应用。对于规则和规划器策略，它们按指定顺序应用。对于解析器，使用最后一个解析器，并且每个解析器都可以委托给其前任。对于函数名称冲突的情况，使用最后注册的函数名称。

确定我们是否应该使用SparkSessionExtensionsProvider机制从类路径加载扩展的标志。这仅是测试标志。

一个逗号分隔的类前缀列表，对于Spark SQL与之通信的每个Hive版本，这些类应被明确重新加载。例如，声明在通常共享的前缀（即org.apache.spark.*）中的Hive UDFs。

用于实例化HiveMetastoreClient的jar包位置。此属性可以是以下四种选项之一：1. “builtin” 使用Hive 2.3.10，该版本在启用-Phive时与Spark程序集捆绑。选择此选项时，spark.sql.hive.metastore.version必须是2.3.10或未定义。2. “maven” 使用从Maven仓库下载的指定版本的Hive jar包。3. “path” 使用由spark.sql.hive.metastore.jars.path以逗号分隔格式配置的Hive jar包。支持本地或远程路径。提供的jar包应与spark.sql.hive.metastore.version版本相同。4. 标准格式的Hive和Hadoop类路径。提供的jar包应与spark.sql.hive.metastore.version版本相同。

用于实例化HiveMetastoreClient的jar包的逗号分隔路径。此配置仅在spark.sql.hive.metastore.jars设置为path时有效。路径可以是以下任何格式：1. file://path/to/jar/foo.jar 2. hdfs://nameservice/path/to/jar/foo.jar 3. /path/to/jar/ （没有URI方案的路径遵循conf fs.defaultFS的URI方案） 4. [http/https/ftp]://path/to/jar/foo.jar 请注意1、2和3支持通配符。例如：1. file://path/to/jar/,file://path2/to/jar//.jar 2. hdfs://nameservice/path/to/jar/,hdfs://nameservice2/path/to/jar//.jar

一个逗号分隔的类前缀列表，这些类应使用Spark SQL和特定版本的Hive共享的类加载器加载。应共享的类的一个示例是与Metastore通信所需的JDBC驱动程序。需要共享的其他类是那些与已共享类交互的类。例如，log4j使用的自定义追加器。

Hive Metastore的版本。可用选项包括2.0.0到2.3.10，3.0.0到3.1.3以及4.0.0到4.0.1。

当设置为true时，Hive Thrift服务器以单会话模式运行。所有JDBC/ODBC连接共享临时视图、函数注册表、SQL配置和当前数据库。

Spark发行版捆绑的已编译的（即内置的）Hive版本。请注意，这是一个只读配置，仅用于报告内置的Hive版本。如果您希望Spark调用不同的Metastore客户端，请参阅spark.sql.hive.metastore.version。

元数据缓存（分区文件元数据缓存和会话目录缓存）的生存时间（TTL）值。此配置仅在值为正（> 0）时生效。它还需要将“spark.sql.catalogImplementation”设置为hive，将“spark.sql.hive.filesourcePartitionFileCacheSize”设置为> 0，并将“spark.sql.hive.manageFilesourcePartitions”设置为true才能应用于分区文件元数据缓存。

实现QueryExecutionListener接口的类名列表，这些类将自动添加到新创建的会话中。这些类应具有无参数构造函数，或需要SparkConf参数的构造函数。

配置一个被禁用的JDBC连接提供者列表。列表包含以逗号分隔的JDBC连接提供者的名称。

实现StreamingQueryListener接口的类名列表，这些类将自动添加到新创建的会话中。这些类应具有无参数构造函数，或需要SparkConf参数的构造函数。

当Spark Web UI启用时，是否为Spark应用程序运行结构化流式Web UI。

为结构化流式UI保留的流式查询进度更新数。

为结构化流式UI保留的非活动查询数。

Spark UI中保留的执行次数。

受管数据库和表的默认位置。

要在服务器端启用基于推送的混洗，请将此配置设置为org.apache.spark.network.shuffle.RemoteBlockPushResolver

在基于推送的混洗过程中，将合并的混洗文件分割成多个块时，每个块的最小大小。合并的混洗文件由多个小的混洗块组成。在单个磁盘I/O中获取完整的合并混洗文件会增加客户端和外部混洗服务的内存需求。相反，外部混洗服务以MB大小的块提供合并文件。
此配置控制块的最大大小。每个合并的混洗文件将生成一个相应的索引文件，指示块边界。

设置过高会增加客户端和外部混洗服务的内存需求。

设置过低会不必要地增加对外部混洗服务的RPC请求总数。

单个块推送到远程外部混洗服务的最大大小。大于此阈值的块不会被推送到远程合并。这些混洗块将以原始方式获取。

设置过高会导致更多块被推送到远程外部混洗服务，但这些块已经通过现有机制高效获取，从而增加了将大块推送到远程外部混洗服务的额外开销。建议将spark.shuffle.push.maxBlockSizeToPush设置得小于spark.shuffle.push.maxBlockBatchSize配置的值。

设置过低会导致更少数量的块被合并并直接从mapper外部混洗服务获取，从而导致更多的小随机读取，影响整体磁盘I/O性能。