自适应优化期间 shuffle 分区的建议大小（以字节为单位）（当 spark.sql.adaptive.enabled 为 true 时）。当 Spark 合并小的 shuffle 分区或拆分倾斜的 shuffle 分区时，它会生效。

配置在执行连接时将广播到所有 worker 节点的表的最大大小（以字节为单位）。通过将此值设置为 -1，可以禁用广播。默认值与 spark.sql.autoBroadcastJoinThreshold 相同。请注意，此配置仅在自适应框架中使用。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 将根据目标大小（由 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定）合并连续的 shuffle 分区，以避免太多的小任务。

合并之前的 shuffle 分区的初始数量。如果未设置，则等于 spark.sql.shuffle.partitions。此配置仅在 'spark.sql.adaptive.enabled' 和 'spark.sql.adaptive.coalescePartitions.enabled' 都为 true 时才有效。

合并后 shuffle 分区的最小大小。当自适应计算的目标大小在分区合并期间太小时，这很有用。

为 true 时，Spark 在合并连续的 shuffle 分区时，不会考虑 'spark.sql.adaptive.advisoryPartitionSizeInBytes' (默认 64MB) 指定的目标大小，而是根据 Spark 集群的默认并行度自适应地计算目标大小。计算出的大小通常小于配置的目标大小。这是为了最大限度地提高并行性，并避免在启用自适应查询执行时出现性能下降。建议将此配置设置为 false 并考虑配置的目标大小。

用于自适应执行的自定义成本评估器类。如果未设置，Spark 默认将使用其自己的 SimpleCostEvaluator。

为 true 时，启用自适应查询执行，它会根据准确的运行时统计信息，在查询执行过程中重新优化查询计划。

为 true 时，强制启用 OptimizeSkewedJoin，即使它引入了额外的 shuffle。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，当不需要 shuffle 分区时，Spark 尝试使用本地 shuffle 读取器来读取 shuffle 数据，例如，在将 sort-merge 连接转换为 broadcast-hash 连接之后。

配置允许构建本地哈希映射的每个分区的最大大小（以字节为单位）。如果此值不小于 spark.sql.adaptive.advisoryPartitionSizeInBytes 并且所有分区大小都不大于此配置，则无论 spark.sql.join.preferSortMergeJoin 的值如何，连接选择都更倾向于使用 shuffled hash join 而不是 sort merge join。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 将优化 RebalancePartitions 中的倾斜 shuffle 分区，并根据目标大小（由 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定）将它们拆分为更小的分区，以避免数据倾斜。

配置要禁用在自适应优化器中的规则列表，其中规则由其规则名称指定，并以逗号分隔。优化器将记录确实已被排除的规则。

如果分区的大小小于此因子乘以 spark.sql.adaptive.advisoryPartitionSizeInBytes，则在拆分期间将合并该分区。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 通过拆分（并在需要时复制）倾斜分区来动态处理 shuffled join（sort-merge 和 shuffled hash）中的倾斜。

如果分区的大小大于此因子乘以中值分区大小，并且大于 'spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes'，则该分区被认为是倾斜的

如果分区的大小（以字节为单位）大于此阈值，并且大于 'spark.sql.adaptive.skewJoin.skewedPartitionFactor' 乘以中值分区大小，则该分区被认为是倾斜的。理想情况下，此配置应设置为大于 'spark.sql.adaptive.advisoryPartitionSizeInBytes'。

如果为 true，Spark 将开启对所有已实现命名参数的函数的命名参数的支持。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，Spark SQL 将双引号 (") 引起来的字面量读取为标识符。当为 false 时，它们被读取为字符串字面量。

如果为 true，Spark SQL 将使用符合 ANSI 标准的方言，而不是 Hive 兼容方言。 例如，当 SQL 运算符/函数的输入无效时，Spark 将在运行时抛出异常，而不是返回 null 结果。有关此方言的完整详细信息，您可以在 Spark 文档的“ANSI 兼容性”部分中找到。 一些 ANSI 方言功能可能并非直接来自 ANSI SQL 标准，但它们的行为符合 ANSI SQL 的风格。

如果为 true 且 'spark.sql.ansi.enabled' 为 true，Spark SQL 解析器将强制执行 ANSI 保留关键字，并禁止使用保留关键字作为别名和/或表、视图、函数等的标识符的 SQL 查询。

如果为 true 且 'spark.sql.ansi.enabled' 为 true，则在组合关系时，JOIN 优先于逗号。 例如，t1, t2 JOIN t3 应该得到 t1 X (t2 X t3)。 如果配置为 false，则结果为 (t1 X t2) X t3。

配置在执行连接时将广播到所有 worker 节点的表的最大大小（以字节为单位）。 将此值设置为 -1 可以禁用广播。 请注意，目前统计信息仅支持 Hive Metastore 表，其中已运行命令 ANALYZE TABLE <tableName> COMPUTE STATISTICS noscan，以及直接在数据文件上计算统计信息的基于文件的数据源表。

写入 AVRO 文件时使用的压缩编解码器。 支持的编解码器：uncompressed、deflate、snappy、bzip2、xz 和 zstandard。 默认编解码器为 snappy。

用于写入 AVRO 文件的 deflate 编解码器的压缩级别。有效值必须在 1 到 9（含）或 -1 的范围内。默认值为 -1，对应于当前实现中的 6 级。

如果为 true，则启用将过滤器下推到 Avro 数据源。

广播连接中广播等待时间的超时时间（以秒为单位）。

如果为 true，如果连接了具有不同 bucket 数量的两个 bucketed 表，则 bucket 数量较大的那一方将被合并为与另一方具有相同的 bucket 数量。 bucket 数量较大的可以被 bucket 数量较小的那一方整除。 Bucket 合并应用于 sort-merge 连接和 shuffled hash 连接。 注意：合并 bucketed 表可以避免连接中不必要的 shuffle，但它也会降低并行性，并可能导致 shuffled hash 连接的 OOM。

要应用的 bucket 合并，被合并的两个 bucket 的数量之比应小于或等于此值。 此配置仅在 'spark.sql.bucketing.coalesceBucketsInJoin.enabled' 设置为 true 时才有效。

一个 catalog 实现，将用作 Spark 内置 v1 catalog 的 v2 接口：spark_catalog。 此 catalog 与 spark_catalog 共享其标识符命名空间，并且必须与它保持一致； 例如，如果一个表可以被 spark_catalog 加载，则此 catalog 也必须返回该表的元数据。 要将操作委派给 spark_catalog，实现可以扩展 'CatalogExtension'。

设置为 true 时，启用 CBO 来估计计划统计信息。

将星型连接过滤器启发式应用于基于成本的连接枚举。

动态编程算法中允许的最大连接节点数。

在 CBO 中启用连接重排序。

如果为 true，则逻辑计划将从 catalog 中获取行数和列统计信息。

如果为 true，则启用基于星型模式检测的连接重排序。

如果为 true，Spark 会在 CREATE/REPLACE/ALTER TABLE 命令中使用 VARCHAR 类型替换 CHAR 类型，以便新创建/更新的表不会有 CHAR 类型的列/字段。 具有 CHAR 类型列/字段的现有表不受此配置的影响。

是否截断由 Base64 函数生成的字符串。 如果为 true，则由 base64 函数生成的 base64 字符串将被分块为最多 76 个字符的行。 如果为 false，则 base64 字符串不分块。

设置为 true 时，spark-sql CLI 会打印查询输出中的列名。

用于存储未能解析的原始/未解析的 JSON 和 CSV 记录的内部列的名称。

如果为 true，则启用将过滤器下推到 CSV 数据源。

如果将配置属性设置为 true，则 Java 8 API 的 java.time.Instant 和 java.time.LocalDate 类将用作 Catalyst 的 TimestampType 和 DateType 的外部类型。 如果设置为 false，则 java.sql.Timestamp 和 java.sql.Date 用于相同的目的。

可以在调试输出中转换为字符串的类序列条目的最大字段数。 超过限制的任何元素都将被删除，并替换为“... N 更多字段”占位符。

默认 catalog 的名称。 如果用户尚未明确设置当前 catalog，这将是当前的 catalog。

当为 PRETTY 时，错误消息由错误类、消息和查询上下文的文本表示组成。 MINIMAL 和 STANDARD 格式是漂亮的 JSON 格式，其中 STANDARD 包括一个额外的 JSON 字段 message。 此配置属性影响运行查询时 Thrift Server 和 SQL CLI 的错误消息。

（自 Spark 3.0 起已弃用，请设置 'spark.sql.execution.arrow.pyspark.enabled'。）

（自 Spark 3.0 起已弃用，请设置 'spark.sql.execution.arrow.pyspark.fallback.enabled'。）

将 Arrow 批处理转换为 Spark DataFrame 时，如果 Arrow 批处理的字节大小小于此阈值，则在驱动程序端使用本地集合。 否则，Arrow 批处理将被发送并反序列化为执行程序中的 Spark 内部行。

使用 Apache Arrow 时，限制可以写入内存中单个 ArrowRecordBatch 的最大记录数。 此配置对于分组 API（例如 DataFrame(.cogroup).groupby.applyInPandas）无效，因为每个组都会成为每个 ArrowRecordBatch。 如果设置为零或负数，则没有限制。

如果为 true，则在 PySpark 中使用 Apache Arrow 进行列式数据传输。 此优化适用于：1. pyspark.sql.DataFrame.toPandas。 2. pyspark.sql.SparkSession.createDataFrame，当其输入是 Pandas DataFrame 或 NumPy ndarray 时。 以下数据类型不受支持：TimestampType 的 ArrayType。

如果为 true，如果发生错误，则由 'spark.sql.execution.arrow.pyspark.enabled' 启用的优化将自动回退到非优化实现。

（实验性）如果为 true，则在从 Arrow 转换为 Pandas 时，使用 Apache Arrow 的 self-destruct 和 split-blocks 选项在 PySpark 中进行列式数据传输。 这以一定的 CPU 时间为代价减少了内存使用量。 此优化适用于：当设置 'spark.sql.execution.arrow.pyspark.enabled' 时，pyspark.sql.DataFrame.toPandas。

如果为 true，则在 SparkR 中使用 Apache Arrow 进行列式数据传输。 此优化适用于：1. 当输入是 R DataFrame 时创建 DataFrame 2. collect 3. dapply 4. gapply。 以下数据类型不受支持：FloatType、BinaryType、ArrayType、StructType 和 MapType。

创建 pandas DataFrame 时 struct 类型的转换模式。 当为 "legacy" 时，1. 当禁用 Arrow 优化时，转换为 Row 对象，2. 当启用 Arrow 优化时，转换为 dict 或如果存在重复的嵌套字段名称则引发异常。 当为 "row" 时，无论 Arrow 优化如何，都转换为 Row 对象。 当为 "dict" 时，转换为 dict 并使用带后缀的键名（例如，a_0, a_1），如果存在重复的嵌套字段名称，无论 Arrow 优化如何。

与 spark.buffer.size 相同，但仅适用于 Pandas UDF 执行。 如果未设置，则回退到 spark.buffer.size。 请注意，Pandas 执行需要超过 4 个字节。 降低此值可能会使小型的 Pandas UDF 批量迭代和流水线化； 但是，它可能会降低性能。 请参阅 SPARK-27870。

如果为 true，则简化来自 Python UDF 的回溯。 它在回溯中隐藏了来自 PySpark 的 Python worker、(反)序列化等，并且仅显示来自 UDF 的异常消息。 请注意，这仅适用于 CPython 3.7+。

在常规 Python UDF 中启用 Arrow 优化。 只有当给定的函数至少接受一个参数时，才能启用此优化。

为 Python UDTF 启用 Arrow 优化。

在带有 SORT 后跟 LIMIT 的 SQL 查询中，例如“SELECT x FROM t ORDER BY y LIMIT m”，如果 m 低于此阈值，则在内存中执行 top-K 排序，否则执行全局排序，如果需要则溢出到磁盘。

是否忽略损坏的文件。 如果为 true，则 Spark 作业将在遇到损坏的文件时继续运行，并且仍将返回已读取的内容。 此配置仅在使用基于文件的源（例如 Parquet、JSON 和 ORC）时有效。

是否忽略丢失的文件。 如果为 true，则 Spark 作业将在遇到丢失的文件时继续运行，并且仍将返回已读取的内容。 此配置仅在使用基于文件的源（例如 Parquet、JSON 和 ORC）时有效。

读取文件时，打包到单个分区中的最大字节数。 此配置仅在使用基于文件的源（例如 Parquet、JSON 和 ORC）时有效。

建议的（不保证的）最大拆分文件分区数。 如果设置了该值，如果初始分区数超过该值，Spark 将重新缩放每个分区，以使分区数接近该值。 此配置仅在使用基于文件的源（例如 Parquet、JSON 和 ORC）时有效。

写入单个文件的最大记录数。 如果此值为零或负数，则没有限制。

建议的（不保证的）最小拆分文件分区数。 如果未设置，则默认值为 spark.sql.leafNodeDefaultParallelism。 此配置仅在使用基于文件的源（例如 Parquet、JSON 和 ORC）时有效。

如果此选项设置为 false 且所有输入均为二进制，则 functions.concat 返回二进制格式的输出。 否则，它将返回字符串。

如果此选项设置为 false 且所有输入均为二进制，则 elt 返回二进制格式的输出。 否则，它将返回字符串。

如果为 true，则 select 列表中的别名可以在 group by 子句中使用。如果为 false，则会抛出分析异常。

如果为 true，则 group by 子句中的序号将被视为 select 列表中的位置。如果为 false，则序号将被忽略。

如果设置为 true，并且 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 为 true，则内置的 ORC/Parquet 写入器将用于处理插入到使用 HiveSQL 语法创建的分区 ORC/Parquet 表中的数据。

如果设置为 true，Spark 将尝试在 CTAS 中使用内置的数据源写入器而不是 Hive serde。只有当分别针对 Parquet 和 ORC 格式启用 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 时，此标志才有效

如果设置为 true，Spark 将尝试在 INSERT OVERWRITE DIRECTORY 中使用内置的数据源写入器而不是 Hive serde。只有当分别针对 Parquet 和 ORC 格式启用 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 时，此标志才有效

如果设置为 true，则内置的 ORC 读取器和写入器将用于处理使用 HiveQL 语法创建的 ORC 表，而不是 Hive serde。

如果设置为 true，则内置的 Parquet 读取器和写入器将用于处理使用 HiveQL 语法创建的 Parquet 表，而不是 Hive serde。

如果为 true，还会尝试合并不同 Parquet 数据文件中可能不同但兼容的 Parquet 模式。此配置仅当 "spark.sql.hive.convertMetastoreParquet" 为 true 时才有效。

如果为 true，Spark 将获取分区名称而不是分区对象来删除分区，这可以提高删除分区的性能。

如果非零，则启用内存中分区文件元数据的缓存。所有表共享一个缓存，该缓存最多可以使用指定的字节数用于文件元数据。此配置仅在启用 Hive 文件源分区管理时有效。

如果为 true，则也为文件源表启用 Metastore 分区管理。这包括数据源表和转换后的 Hive 表。启用分区管理后，数据源表将分区存储在 Hive Metastore 中，并在 spark.sql.hive.metastorePartitionPruning 设置为 true 时，使用 Metastore 在查询规划期间修剪分区。

如果为 true，某些谓词将被下推到 Hive Metastore 中，以便可以更早地消除不匹配的分区。

当遇到来自 Metastore 的 MetaException 时，是否回退到从 Hive Metastore 获取所有分区并在 Spark 客户端执行分区修剪。请注意，如果启用此选项并且要列出的分区很多，则 Spark 查询性能可能会下降。如果禁用此选项，Spark 将使查询失败。

启用此配置后，如果 Hive 不支持谓词，或者 Spark 由于遇到来自 Metastore 的 MetaException 而回退，Spark 将通过首先获取分区名称，然后在客户端评估过滤器表达式来修剪分区。请注意，不支持带有 TimeZoneAwareExpression 的谓词。

如果设置为 true，Hive Thrift 服务器以异步方式执行 SQL 查询。

如果为 true，则在读取存储在 HDFS 中的数据时，检查表根目录下的所有分区路径。此配置将在未来的版本中被弃用，并由 spark.files.ignoreMissingFiles 替换。

控制用于列式缓存的批处理大小。更大的批处理大小可以提高内存利用率和压缩率，但在缓存数据时可能会导致 OOM。

如果设置为 true，Spark SQL 将根据数据的统计信息自动为每一列选择一种压缩编解码器。

为列式缓存启用向量化读取器。

如果为 true，则启用将过滤器下推到 JSON 数据源。

在 JSON 数据源和 JSON 函数（如 to_json）中生成 JSON 对象时，是否忽略空字段。如果为 false，则为 JSON 对象中的空字段生成 null。

生成数据的 Spark SQL 叶节点的默认并行度，例如文件扫描节点、本地数据扫描节点、范围节点等。此配置的默认值为 'SparkContext#defaultParallelism'。

在内置函数中对映射键进行重复数据删除的策略：CreateMap, MapFromArrays, MapFromEntries, StringToMap, MapConcat 和 TransformKeys。当 EXCEPTION 时，如果检测到重复的映射键，则查询失败。当 LAST_WIN 时，最后插入的映射键优先。

可选的额外远程 Maven 镜像仓库的逗号分隔字符串配置。如果默认的 Maven Central 仓库无法访问，则仅用于在 IsolatedClientLoader 中下载 Hive jar。

元数据字符串输出的最大字符数。例如，DataSourceScanExec 中的文件位置，如果超过长度，则每个值都会被缩写。

计划字符串输出的最大字符数。如果计划更长，则进一步的输出将被截断。默认设置始终生成完整计划。如果计划字符串占用过多内存或导致驱动程序或 UI 进程中出现 OutOfMemory 错误，请将其设置为较低的值，例如 8k。

单个分区允许的最大字节数。否则，规划器将引入 shuffle 以提高并行性。

是否始终折叠两个相邻的投影并内联表达式，即使这会导致额外的重复。

如果为 true，当分区列用作连接键时，我们将为分区列生成谓词。

是否在 SQL 优化器中优化 CSV 表达式。它包括从 from_csv 中修剪不必要的列。

是否在 SQL 优化器中优化 JSON 表达式。它包括从 from_json 中修剪不必要的列，简化 from_json + to_json，to_json + named_struct(from_json.col1, from_json.col2, ....)。

配置要在优化器中禁用的规则列表，其中规则由其规则名称指定，并用逗号分隔。不能保证此配置中的所有规则最终都会被排除，因为某些规则对于正确性是必需的。优化器将记录实际已被排除的规则。

Bloom 过滤器应用端计划的聚合扫描大小的字节大小阈值。Bloom 过滤器应用端的聚合扫描字节大小需要超过此值才能注入 Bloom 过滤器。

Bloom 过滤器创建端计划的大小阈值。估计大小需要低于此值才能尝试注入 Bloom 过滤器。

如果为 true，并且 shuffle 连接的一侧具有选择性谓词，我们将尝试在另一侧插入 Bloom 过滤器以减少 shuffle 数据量。

运行时 Bloom 过滤器的默认预期项目数

运行时 Bloom 过滤器使用的最大位数

运行时 Bloom 过滤器允许的最大预期项目数

运行时 Bloom 过滤器使用的默认位数

为基于组的行级操作启用运行时组过滤。替换数据组（例如，文件，分区）的数据源可以在计划行级操作扫描时使用提供的数据源过滤器修剪整个组。但是，这种过滤是有限的，因为并非所有表达式都可以转换为数据源过滤器，并且某些表达式只能由 Spark 评估（例如，子查询）。由于重写组的成本很高，因此 Spark 可以在运行时执行查询，以查找哪些记录与行级操作的条件匹配。有关匹配记录的信息将传递回行级操作扫描，从而允许数据源丢弃不必重写的组。

单个查询注入的运行时过滤器（非 DPP）的总数。这是为了防止驱动程序因 Bloom 过滤器过多而导致 OOM。

如果为 true，并且 shuffle 连接的一侧具有选择性谓词，我们将尝试在另一侧插入半连接以减少 shuffle 数据量。

如果为 true，聚合将被下推到 ORC 以进行优化。 支持 MIN、MAX 和 COUNT 作为聚合表达式。 对于 MIN/MAX，支持 boolean、integer、float 和 date 类型。 对于 COUNT，支持所有数据类型。 如果任何 ORC 文件页脚中缺少统计信息，则会抛出异常。

要在 orc 向量化读取器批处理中包含的行数。 应该仔细选择此数字，以最大程度地减少开销并避免在读取数据时出现 OOM。

要在 orc 向量化写入器批处理中包含的行数。 应该仔细选择此数字，以最大程度地减少开销并避免在写入数据时出现 OOM。

设置写入 ORC 文件时使用的压缩编解码器。如果在表特定的选项/属性中指定了 compression 或 orc.compress，则优先级为 compression、orc.compress、spark.sql.orc.compression.codec。可接受的值包括：none、uncompressed、snappy、zlib、lzo、zstd、lz4。

为嵌套列启用向量化 orc 解码。

启用向量化 orc 解码。

如果为 true，则为 ORC 文件启用过滤器下推。

如果为 true，Orc 数据源合并从所有数据文件收集的模式，否则从随机数据文件中选择模式。

如果为 true，则序号被视为 select 列表中的位置。 如果为 false，则 order/sort by 子句中的序号将被忽略。

如果为 true，则聚合将被下推到 Parquet 以进行优化。支持 MIN、MAX 和 COUNT 作为聚合表达式。 对于 MIN/MAX，支持 boolean、integer、float 和 date 类型。 对于 COUNT，支持所有数据类型。 如果任何 Parquet 文件页脚中缺少统计信息，则会抛出异常。

一些其他生成 Parquet 的系统，特别是 Impala 和 Spark SQL 的旧版本，在写出 Parquet 模式时，不会区分二进制数据和字符串。 此标志告诉 Spark SQL 将二进制数据解释为字符串，以提供与这些系统的兼容性。

parquet 向量化读取器批处理中包含的行数。应仔细选择该数字，以最大限度地减少开销并避免读取数据时出现 OOM。

设置写入 Parquet 文件时使用的压缩编解码器。 如果在特定于表的选项/属性中指定了 compression 或 parquet.compression，则优先级为 compression、parquet.compression、spark.sql.parquet.compression.codec。 可接受的值包括：none、uncompressed、snappy、gzip、lzo、brotli、lz4、lz4raw、lz4_raw、zstd。

为嵌套列（例如，struct、list、map）启用向量化 Parquet 解码。 需要启用 spark.sql.parquet.enableVectorizedReader。

启用向量化 parquet 解码。

Field ID 是 Parquet 模式规范的本机字段。 启用后，Parquet 读取器将使用请求的 Spark 模式中的字段 ID（如果存在）来查找 Parquet 字段，而不是使用列名。

当 Parquet 文件没有任何字段 ID，但 Spark 读取模式正在使用字段 ID 进行读取时，如果启用此标志，我们将静默地返回 null，否则会报错。

Field ID 是 Parquet 模式规范的本机字段。 启用后，Parquet 写入器会将 Spark 模式中的字段 ID 元数据（如果存在）填充到 Parquet 模式。

设置为 true 时，启用 Parquet 过滤器下推优化。

启用后，在模式推断期间，带有注释 isAdjustedToUTC = false 的 Parquet 时间戳列将被推断为 TIMESTAMP_NTZ 类型。 否则，所有 Parquet 时间戳列都将被推断为 TIMESTAMP_LTZ 类型。 请注意，Spark 在文件写入时将输出模式写入 Parquet 的页脚元数据，并在文件读取时利用它。 因此，此配置仅影响非 Spark 写入的 Parquet 文件的模式推断。

一些生成 Parquet 的系统，特别是 Impala，将 Timestamp 存储到 INT96 中。 Spark 也会将 Timestamp 存储为 INT96，因为我们需要避免纳秒字段的精度损失。 此标志告诉 Spark SQL 将 INT96 数据解释为时间戳，以提供与这些系统的兼容性。

这控制在转换为时间戳时，是否应将时间戳调整应用于 INT96 数据，以用于 Impala 写入的数据。 这是必要的，因为 Impala 存储的 INT96 数据具有与 Hive 和 Spark 不同的时区偏移量。

如果为 true，Parquet 数据源会合并从所有数据文件收集的模式，否则，如果没有任何摘要文件，则从摘要文件或随机数据文件中选择模式。

设置 Spark 将数据写入 Parquet 文件时使用的 Parquet 时间戳类型。 INT96 是 Parquet 中非标准但常用的时间戳类型。 TIMESTAMP_MICROS 是 Parquet 中的标准时间戳类型，它存储自 Unix epoch 以来的微秒数。 TIMESTAMP_MILLIS 也是标准类型，但精度为毫秒，这意味着 Spark 必须截断其时间戳值的微秒部分。

如果为 true，则启用 Parquet 的本机记录级过滤，该过滤使用下推的过滤器。 仅当启用“spark.sql.parquet.filterPushdown”且未使用向量化读取器时，此配置才有效。 您可以通过将“spark.sql.parquet.enableVectorizedReader”设置为 false 来确保不使用向量化读取器。

如果为 true，我们假设 Parquet 的所有 part-file 都与摘要文件一致，并且我们在合并模式时将忽略它们。 否则，如果为 false（默认值），我们将合并所有 part-file。 这应被视为仅供专家使用的选项，在确切了解其含义之前不应启用。

如果为 true，数据将以 Spark 1.4 及更早版本的方式写入。 例如，十进制值将以 Apache Parquet 的固定长度字节数组格式写入，其他系统（例如 Apache Hive 和 Apache Impala）也使用该格式。 如果为 false，则将使用 Parquet 中较新的格式。 例如，十进制数将以基于整数的格式写入。 如果 Parquet 输出旨在与不支持此较新格式的系统一起使用，请设置为 true。

如果为 true，则 SELECT 语句中带引号的标识符（使用反引号）被解释为正则表达式。

在执行数据透视而不指定数据透视列的值时，这是在没有错误的情况下将收集的最大（不同）值的数量。

默认情况下，PySpark 的 SparkSession.createDataFrame 将嵌套字典推断为 map。 当设置为 true 时，它将嵌套字典推断为 struct。

如果为 true，则在用户友好的 PySpark 异常中，将同时显示 JVM 堆栈跟踪和 Python 堆栈跟踪。 默认情况下，它处于禁用状态，以隐藏 JVM 堆栈跟踪，仅显示 Python 友好的异常。 请注意，这与日志级别设置无关。

默认情况下，PySpark 的 SparkSession.createDataFrame 从数组中的所有值推断数组的元素类型。 如果此配置设置为 true，它将恢复仅从第一个数组元素推断类型的旧行为。

如果为 true，除了写入端填充之外，Spark 在读取 CHAR 类型列/字段时还会应用字符串填充。 默认情况下，此配置为 true，以便在外部表等情况下更好地强制执行 CHAR 类型语义。

用于确定 Spark SQL 命令的选项映射中哪些键包含敏感信息的正则表达式。 与此正则表达式匹配的选项名称的值将在 explain 输出中被编辑。 此编辑是在由 spark.redaction.regex 定义的全局编辑配置之上应用的。

用于确定 Spark 生成的字符串的哪些部分包含敏感信息的正则表达式。 当此正则表达式与字符串的一部分匹配时，该字符串部分将替换为虚拟值。 这当前用于编辑 SQL explain 命令的输出。 如果未设置此配置，则使用 spark.redaction.string.regex 中的值。

是否启用预先计算。 如果为 true，则当且仅当 REPL 支持预先计算时，才会显示 Dataset 的前 K 行。 目前，PySpark 和 SparkR 支持预先计算。 在 PySpark 中，对于像 Jupyter 这样的笔记本，将返回 HTML 表格（由 repr_html 生成）。 对于普通 Python REPL，返回的输出格式类似于 dataframe.show()。 在 SparkR 中，显示的返回输出类似于 R data.frame。

预先计算返回的最大行数。 仅当 spark.sql.repl.eagerEval.enabled 设置为 true 时，此配置才生效。 此配置的有效范围是 0 到 (Int.MaxValue - 1)，因此无效配置（如负数和大于 (Int.MaxValue - 1)）将被归一化为 0 和 (Int.MaxValue - 1)。

预先计算返回的每个单元格的最大字符数。 仅当 spark.sql.repl.eagerEval.enabled 设置为 true 时，此配置才生效。

序列化后要在驱动程序端缓存的本地关系的字节大小阈值。

会话本地时区的 ID，格式可以是基于区域的时区 ID 或时区偏移量。 区域 ID 必须采用“area/city”的形式，例如“America/Los_Angeles”。 时区偏移量必须采用“(+|-)HH”、“(+|-)HH:mm”或“(+|-)HH:mm:ss”格式，例如“-08”、“+01:00”或“-13:33:33”。 “UTC”和“Z”也支持作为“+00:00”的别名。 不建议使用其他短名称，因为它们可能不明确。

在对连接或聚合的数据进行洗牌时使用的默认分区数。 注意：对于结构化流式处理，从同一检查点位置重新启动查询后，无法更改此配置。

如果小端的数据大小乘以该因子仍然小于大端，则可以选择 shuffle hash join。

如果为 true，则决定是否根据查询计划自动对输入表执行 bucketed 扫描。 如果 1. 查询没有利用 bucketing 的运算符（例如 join、group-by 等），或者 2. 在这些运算符和表扫描之间存在交换运算符，则不要使用 bucketed 扫描。 请注意，当 'spark.sql.sources.bucketing.enabled' 设置为 false 时，此配置不起作用。

如果为 false，我们将把 bucketed 表视为普通表

允许的最大桶数。

在输入/输出中使用的默认数据源。

允许在驱动程序端列出文件的最大路径数。 如果在分区发现期间检测到的路径数超过此值，它将尝试使用另一个 Spark 分布式作业列出文件。 此配置仅在使用基于文件的源（例如 Parquet、JSON 和 ORC）时有效。

如果为 true，则自动推断分区列的数据类型。

当 INSERT OVERWRITE 分区数据源表时，我们当前支持 2 种模式：静态和动态。 在静态模式下，Spark 在覆盖之前删除与 INSERT 语句中的分区规范（例如 PARTITION(a=1,b)）匹配的所有分区。 在动态模式下，Spark 不会提前删除分区，而仅覆盖在运行时写入数据的那些分区。 默认情况下，我们使用静态模式来保持 Spark 2.3 之前的相同行为。 请注意，此配置不影响 Hive serde 表，因为它们始终以动态模式覆盖。 也可以使用键 partitionOverwriteMode 将其设置为数据源的输出选项（该选项优先于此设置），例如 dataframe.write.option("partitionOverwriteMode", "dynamic").save(path)。

类似于 spark.sql.sources.bucketing.enabled，此配置用于为 V2 数据源启用分桶。启用后，Spark 将识别 V2 数据源通过 SupportsReportPartitioning 报告的特定分布，并尝试在必要时避免 shuffle。

在存储分区的连接期间，当连接的两侧都是 KeyGroupedPartitioning 时，是否允许输入分区部分聚集。在规划时，Spark 将根据表统计信息选择数据量较小的一侧，对其进行分组和复制以匹配另一侧。这是对倾斜连接的优化，可以帮助减少某些分区分配大量数据时的数据倾斜。此配置需要同时启用 spark.sql.sources.v2.bucketing.enabled 和 spark.sql.sources.v2.bucketing.pushPartValues.enabled。

当启用 spark.sql.sources.v2.bucketing.enabled 时，是否下推公共分区值。启用后，如果连接的两侧都是 KeyGroupedPartitioning 并且它们共享兼容的分区键，即使它们没有完全相同的分区值，Spark 将计算分区值的超集并将该信息下推到扫描节点，扫描节点将对任一侧缺少的分区值使用空分区。这有助于消除不必要的 shuffle。

如果表统计信息无法从表元数据中获得，则设置为 true 时，将回退到 HDFS。 这在确定表是否足够小以使用广播连接时非常有用。 此标志仅对非分区 Hive 表有效。 对于非分区数据源表，如果表统计信息不可用，它将自动重新计算。 对于分区数据源和分区 Hive 表，如果表统计信息不可用，则为“spark.sql.defaultSizeInBytes”。

如果启用，则在计算列统计信息时生成直方图。 直方图可以提供更好的估计准确性。 目前，Spark 仅支持等高直方图。 请注意，收集直方图需要额外的成本。 例如，收集列统计信息通常只需要一次表扫描，但生成等高直方图将导致额外的表扫描。

启用对表大小的自动更新，一旦表的数据发生更改。 请注意，如果表的总文件数非常大，这可能会很昂贵并降低数据更改命令的速度。

当将值插入到具有不同数据类型的列中时，Spark 将执行类型强制转换。 目前，我们支持 3 种类型强制转换规则的策略：ANSI、legacy 和 strict。 使用 ANSI 策略，Spark 按照 ANSI SQL 执行类型强制转换。 在实践中，该行为与 PostgreSQL 大致相同。 它不允许某些不合理的类型转换，例如将 string 转换为 int 或将 double 转换为 boolean。 使用 legacy 策略，只要它是有效的 Cast，Spark 就允许类型强制转换，这非常宽松。 例如，允许将 string 转换为 int 或将 double 转换为 boolean。 这也是 Spark 2.x 中唯一的行为，并且与 Hive 兼容。 使用 strict 策略，Spark 不允许类型强制转换中出现任何可能的精度损失或数据截断，例如不允许将 double 转换为 int 或将 decimal 转换为 double。

用于存储流式查询的检查点数据的默认位置。

队列中存储的等待延迟 epoch 的最大条目数。如果队列的大小超过此参数，流将停止并出现错误。

禁用 StreamWriteSupport 的完全限定数据源注册类名称的逗号分隔列表。写入这些源将回退到 V1 Sinks。

文件源已完成文件清理器中使用的线程数。

如果为 true，则启用临时检查点位置强制删除。

是否为活动流式查询报告 Dropwizard/Codahale 指标。

当流式查询中有多个水印运算符时，用于计算全局水印值的策略。默认值为“min”，它选择多个运算符报告的最小水印。其他替代值为“max”，它选择多个运算符中的最大值。注意：无法在从同一检查点位置重新启动查询之间更改此配置。

流式微批处理引擎是否将执行没有数据的批处理，以进行有状态流式查询的即时状态管理。

要为流式查询保留的进度更新的数量

如果为 true，则流式会话窗口在 shuffle 之前对本地分区中的会话进行排序和合并。 这是为了减少要 shuffle 的行，但仅在批处理中有大量行被分配给同一会话时才有利。

如果为 true，Spark 将根据现有状态下的模式验证状态模式，如果它不兼容，则查询将失败。

不支持同时运行同一流式查询的多个运行。如果我们发现流式查询存在并发活动运行（在同一群集上的相同或不同 SparkSession 中），并且此标志为 true，我们将停止旧的流式查询运行以启动新的运行。

调用流式查询的 stop() 方法时，等待流式执行线程停止的毫秒数。 0 或负值无限期等待。

如果为 true，如果取消一个查询，所有正在运行的任务都将被中断。如果为 false，所有正在运行的任务将保持运行直到完成。

在 Thrift Server 中设置查询持续时间超时（以秒为单位）。 如果超时设置为正值，则当超过超时时，运行中的查询将自动取消，否则查询将继续运行直到完成。 如果通过 java.sql.Statement.setQueryTimeout 为每个语句设置了超时值，并且它们小于此配置值，则它们优先。 如果您设置此超时并希望立即取消查询而无需等待任务完成，请考虑同时启用 spark.sql.thriftServer.interruptOnCancel。

为 JDBC 客户端会话设置一个 Fair Scheduler 池。

JDBC/ODBC Web UI 历史记录中保留的 SQL 客户端会话数。

JDBC/ODBC Web UI 历史记录中保留的 SQL 语句数。

配置 Spark SQL 的默认时间戳类型，包括 SQL DDL、Cast 子句、类型字面量和数据源的模式推断。将配置设置为 TIMESTAMP_NTZ 将使用 TIMESTAMP WITHOUT TIME ZONE 作为默认类型，而将其设置为 TIMESTAMP_LTZ 将使用 TIMESTAMP WITH LOCAL TIME ZONE。在 3.4.0 版本之前，Spark 仅支持 TIMESTAMP WITH LOCAL TIME ZONE 类型。

如果为 true，则允许表值函数的多个表参数，接收这些表的所有行的笛卡尔积。

配置 Spark SQL UI 中使用的查询解释模式。 该值可以是“simple”、“extended”、“codegen”、“cost”或“formatted”。 默认值为“formatted”。

这允许使用类似 ${var}、${system:var} 和 ${env:var} 的语法进行替换。

实现 org.apache.spark.sql.columnar.CachedBatchSerializer 的类的名称。 它将用于将 SQL 数据转换为可以更有效地缓存的格式。 底层 API 可能会发生变化，因此请谨慎使用。 无法指定多个类。 该类必须具有一个无参数构造函数。

会话目录的默认数据库。

SQL 长度的阈值，超过此阈值将在添加到事件之前将其截断。 默认为不截断。 如果设置为 0，则将改为记录调用站点。

实现 Function1[SparkSessionExtensions, Unit] 的类（用于配置 Spark Session 扩展）的逗号分隔列表。 这些类必须具有无参数构造函数。 如果指定了多个扩展，则它们按指定的顺序应用。 对于规则和规划器策略，它们按指定的顺序应用。 对于解析器，使用最后一个解析器，并且每个解析器都可以委托给其前任。 对于函数名称冲突，使用最后注册的函数名称。

应为 Spark SQL 与之通信的每个 Hive 版本显式重新加载的类前缀的逗号分隔列表。 例如，通常在共享的前缀（即 org.apache.spark.*）中声明的 Hive UDF。

应用于实例化 HiveMetastoreClient 的 jar 的位置。 此属性可以是以下四个选项之一： 1. "builtin" 使用 Hive 2.3.9，该版本在使用 -Phive 启用时与 Spark 程序集捆绑在一起。 选择此选项时，spark.sql.hive.metastore.version 必须为 2.3.9 或未定义。 2. "maven" 使用从 Maven 仓库下载的指定版本的 Hive jar。 3. "path" 使用由 spark.sql.hive.metastore.jars.path 配置的 Hive jar，格式为逗号分隔。 支持本地或远程路径。提供的 jar 应与 spark.sql.hive.metastore.version 的版本相同。 4. Hive 和 Hadoop 的标准格式的类路径。 提供的 jar 应与 spark.sql.hive.metastore.version 的版本相同。

用于实例化 HiveMetastoreClient 的 jar 包的逗号分隔路径。此配置仅在 spark.sql.hive.metastore.jars 设置为 path 时才有用。路径可以是以下任何格式：1. file://path/to/jar/foo.jar 2. hdfs://nameservice/path/to/jar/foo.jar 3. /path/to/jar/（不带 URI 方案的路径遵循配置 fs.defaultFS 的 URI 模式）4. [http/https/ftp]://path/to/jar/foo.jar 请注意，1、2 和 3 支持通配符。例如：1. file://path/to/jar/,file://path2/to/jar//.jar 2. hdfs://nameservice/path/to/jar/,hdfs://nameservice2/path/to/jar//.jar

应该使用 Spark SQL 和特定版本的 Hive 之间共享的类加载器加载的类前缀的逗号分隔列表。应该共享的类的一个例子是连接到 Metastore 所需的 JDBC 驱动程序。其他需要共享的类是那些与已经共享的类交互的类。例如，log4j 使用的自定义附加器。

Hive Metastore 的版本。可用选项为 0.12.0 到 2.3.9 以及 3.0.0 到 3.1.3。

如果设置为 true，则 Hive Thrift 服务器以单会话模式运行。所有 JDBC/ODBC 连接共享临时视图、函数注册表、SQL 配置和当前数据库。

Spark 发行版捆绑的已编译的，即内置的 Hive 版本。请注意，这是一个只读配置，仅用于报告内置的 Hive 版本。如果要 Spark 调用不同的 Metastore 客户端，请参阅 spark.sql.hive.metastore.version。

元数据缓存的生存时间 (TTL) 值：分区文件元数据缓存和会话目录缓存。 此配置仅在此值具有正值（> 0）时才有效。 它还需要将“spark.sql.catalogImplementation”设置为“hive”，将“spark.sql.hive.filesourcePartitionFileCacheSize”设置为 > 0，并将“spark.sql.hive.manageFilesourcePartitions”设置为“true”才能应用于分区文件元数据缓存。

实现 QueryExecutionListener 的类名称的列表，这些类将自动添加到新创建的会话中。 这些类应该具有无参数构造函数，或者具有需要 SparkConf 参数的构造函数。

配置禁用 JDBC 连接提供程序的列表。 该列表包含以逗号分隔的 JDBC 连接提供程序的名称。

实现 StreamingQueryListener 的类名称的列表，这些类将自动添加到新创建的会话中。 这些类应该具有无参数构造函数，或者具有需要 SparkConf 参数的构造函数。

启用 Spark Web UI 时是否为 Spark 应用程序运行结构化流式 Web UI。

为结构化流式 UI 保留的流式查询的进度更新数。

为结构化流式 UI 保留的非活动查询数。

在 Spark UI 中保留的执行次数。

托管数据库和表的默认位置。