自适应优化期间（当 spark.sql.adaptive.enabled 为 true 时）shuffle 分区的建议大小（以字节为单位）。当 Spark 合并小的 shuffle 分区或拆分倾斜的 shuffle 分区时，它会生效。

配置在执行连接时将广播到所有工作节点的表的最大大小（以字节为单位）。通过将此值设置为 -1 可以禁用广播。默认值与 spark.sql.autoBroadcastJoinThreshold 相同。请注意，此配置仅在自适应框架中使用。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 将根据目标大小（由 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定）合并连续的 shuffle 分区，以避免出现太多的小任务。

合并之前的初始 shuffle 分区数量。如果未设置，它等于 spark.sql.shuffle.partitions。此配置仅在 'spark.sql.adaptive.enabled' 和 'spark.sql.adaptive.coalescePartitions.enabled' 都为 true 时有效。

合并后 shuffle 分区的最小大小。当自适应计算的目标大小在分区合并期间过小时，这很有用。

当为 true 时，Spark 在合并连续的 shuffle 分区时不会遵守 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定的目标大小（默认值为 64MB），而是根据 Spark 集群的默认并行度自适应地计算目标大小。计算的大小通常小于配置的目标大小。这是为了最大限度地提高并行度，并在启用自适应查询执行时避免性能下降。建议将此配置设置为 false 并遵守配置的目标大小。

用于自适应执行的自定义成本评估器类。如果未设置，Spark 默认情况下将使用自己的 SimpleCostEvaluator。

当为 true 时，启用自适应查询执行，它根据准确的运行时统计信息在查询执行过程中重新优化查询计划。

当为 true 时，即使它引入了额外的 shuffle，也会强制启用 OptimizeSkewedJoin。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 尝试使用本地 shuffle 读取器读取 shuffle 数据，当 shuffle 分区不需要时，例如，在将排序合并连接转换为广播哈希连接之后。

配置每个分区允许构建本地哈希映射的最大大小（以字节为单位）。如果此值不小于 spark.sql.adaptive.advisoryPartitionSizeInBytes 并且所有分区大小都不大于此配置，则连接选择优先使用 shuffle 哈希连接而不是排序合并连接，而不管 spark.sql.join.preferSortMergeJoin 的值如何。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 将优化 RebalancePartitions 中的倾斜 shuffle 分区，并根据目标大小（由 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定）将它们拆分为更小的分区，以避免数据倾斜。

配置要在自适应优化器中禁用的规则列表，其中规则由其规则名称指定，并用逗号分隔。优化器将记录实际已排除的规则。

如果分区的尺寸小于此因子乘以 spark.sql.adaptive.advisoryPartitionSizeInBytes，则该分区将在拆分期间被合并。

当为 true 且 'spark.sql.adaptive.enabled' 为 true 时，Spark 通过拆分（并在需要时复制）倾斜分区来动态处理 shuffle 连接（排序合并和 shuffle 哈希）中的倾斜。

如果分区的尺寸大于此因子乘以中位数分区尺寸，并且也大于 'spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes'，则该分区被视为倾斜。

如果分区的尺寸（以字节为单位）大于此阈值，并且也大于 'spark.sql.adaptive.skewJoin.skewedPartitionFactor' 乘以中位数分区尺寸，则该分区被视为倾斜。理想情况下，此配置应设置为大于 'spark.sql.adaptive.advisoryPartitionSizeInBytes'。

如果为 true，Spark 将为所有已实现命名参数的函数开启对命名参数的支持。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，Spark SQL 将双引号 (") 中的文字读取为标识符。当为 false 时，它们被读取为字符串文字。

当为 true 时，Spark SQL 使用 ANSI 兼容方言，而不是 Hive 兼容方言。例如，当 SQL 运算符/函数的输入无效时，Spark 将在运行时抛出异常，而不是返回空结果。有关此方言的完整详细信息，您可以在 Spark 文档的“ANSI 兼容性”部分中找到它们。某些 ANSI 方言功能可能不是直接来自 ANSI SQL 标准，但它们的行为与 ANSI SQL 的风格一致。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，Spark SQL 解析器将强制执行 ANSI 保留关键字，并禁止使用保留关键字作为别名和/或标识符（用于表、视图、函数等）的 SQL 查询。

当为 true 且 'spark.sql.ansi.enabled' 为 true 时，JOIN 在组合关系时优先于逗号。例如，t1, t2 JOIN t3 应产生 t1 X (t2 X t3)。如果配置为 false，则结果为 (t1 X t2) X t3。

配置在执行连接时将广播到所有工作节点的表的最大大小（以字节为单位）。通过将此值设置为 -1 可以禁用广播。请注意，目前仅支持 Hive 元存储表（已运行 ANALYZE TABLE <tableName> COMPUTE STATISTICS noscan 命令）和文件数据源表（直接在数据文件上计算统计信息）的统计信息。

写入 AVRO 文件时使用的压缩编解码器。支持的编解码器：uncompressed、deflate、snappy、bzip2、xz 和 zstandard。默认编解码器为 snappy。

写入 AVRO 文件时使用的 deflate 编解码器的压缩级别。有效值必须在 1 到 9（含）或 -1 的范围内。默认值为 -1，对应于当前实现中的 6 级。

当为 true 时，启用将过滤器下推到 Avro 数据源。

广播连接中广播等待时间的超时时间（以秒为单位）。

如果两个具有不同桶数的桶表进行连接，并且此选项设置为 true，则桶数较多的那一方将被合并，使其桶数与另一方相同。较大的桶数应能被较小的桶数整除。桶合并适用于排序合并连接和混洗哈希连接。注意：合并桶表可以避免连接中不必要的混洗，但也会降低并行度，并可能导致混洗哈希连接出现 OOM。

要应用桶合并，两个被合并的桶的桶数之比应小于或等于此值。此配置仅在 'spark.sql.bucketing.coalesceBucketsInJoin.enabled' 设置为 true 时有效。

将用作 Spark 内置 v1 目录的 v2 接口的目录实现：spark_catalog。此目录与其标识符命名空间共享，并且必须与其保持一致；例如，如果可以通过 spark_catalog 加载表，则此目录也必须返回表元数据。为了将操作委托给 spark_catalog，实现可以扩展 'CatalogExtension'。

如果设置为 true，则启用 CBO 来估计计划统计信息。

将星型连接过滤器启发式应用于基于成本的连接枚举。

动态规划算法中允许的最大连接节点数。

在 CBO 中启用连接重排序。

如果为 true，则逻辑计划将从目录中获取行数和列统计信息。

如果为 true，则启用基于星型模式检测的连接重排序。

如果为 true，Spark 将在 CREATE/REPLACE/ALTER TABLE 命令中用 VARCHAR 类型替换 CHAR 类型，这样新创建/更新的表将不会有 CHAR 类型列/字段。现有具有 CHAR 类型列/字段的表不受此配置的影响。

如果设置为 true，则 spark-sql CLI 将在查询输出中打印列的名称。

用于存储无法解析的原始/未解析 JSON 和 CSV 记录的内部列的名称。

如果为 true，则启用对 CSV 数据源的过滤器下推。

如果配置属性设置为 true，则 Java 8 API 的 java.time.Instant 和 java.time.LocalDate 类将用作 Catalyst 的 TimestampType 和 DateType 的外部类型。如果设置为 false，则 java.sql.Timestamp 和 java.sql.Date 将用于相同目的。

调试输出中可以转换为字符串的类似序列的条目的最大字段数。超出限制的任何元素都将被删除并替换为 "... N more fields" 占位符。

默认目录的名称。如果用户尚未显式设置当前目录，则这将是当前目录。

如果为 PRETTY，则错误消息将包含错误类、消息和查询上下文的文本表示形式。MINIMAL 和 STANDARD 格式是漂亮的 JSON 格式，其中 STANDARD 包含一个额外的 JSON 字段 message。此配置属性会影响 Thrift Server 和 SQL CLI 在运行查询时显示的错误消息。

(自 Spark 3.0 起已弃用，请设置 'spark.sql.execution.arrow.pyspark.enabled'。)

(自 Spark 3.0 起已弃用，请设置 'spark.sql.execution.arrow.pyspark.fallback.enabled'。)

将 Arrow 批次转换为 Spark DataFrame 时，如果 Arrow 批次的字节大小小于此阈值，则在驱动程序端使用本地集合。否则，Arrow 批次将被发送到执行器并反序列化为 Spark 内部行。

使用 Apache Arrow 时，限制可以写入内存中的单个 ArrowRecordBatch 的最大记录数。如果设置为零或负数，则没有限制。

如果为 true，则在 PySpark 中使用 Apache Arrow 进行列式数据传输。此优化适用于：1. pyspark.sql.DataFrame.toPandas。2. pyspark.sql.SparkSession.createDataFrame，当其输入是 Pandas DataFrame 或 NumPy ndarray 时。以下数据类型不受支持：TimestampType 的 ArrayType。

如果为 true，则如果发生错误，则由 'spark.sql.execution.arrow.pyspark.enabled' 启用的优化将自动回退到非优化实现。

(实验性) 如果为 true，则在 PySpark 中使用 Apache Arrow 的自毁和拆分块选项进行列式数据传输，当从 Arrow 转换为 Pandas 时。这减少了内存使用量，但会增加一些 CPU 时间。此优化适用于：pyspark.sql.DataFrame.toPandas，当 'spark.sql.execution.arrow.pyspark.enabled' 设置时。

如果为 true，则在 SparkR 中使用 Apache Arrow 进行列式数据传输。此优化适用于：1. createDataFrame，当其输入是 R DataFrame 时 2. collect 3. dapply 4. gapply 以下数据类型不受支持：FloatType、BinaryType、ArrayType、StructType 和 MapType。

创建 pandas DataFrame 时结构类型的转换模式。如果为 "legacy"，1. 当 Arrow 优化被禁用时，转换为 Row 对象，2. 当 Arrow 优化被启用时，转换为 dict 或如果存在重复的嵌套字段名称则抛出异常。如果为 "row"，则无论 Arrow 优化如何，都转换为 Row 对象。如果为 "dict"，则转换为 dict 并使用后缀键名，例如 a_0、a_1，如果存在重复的嵌套字段名称，则无论 Arrow 优化如何。

与 spark.buffer.size 相同，但仅适用于 Pandas UDF 执行。如果未设置，则回退为 spark.buffer.size。请注意，Pandas 执行需要超过 4 个字节。降低此值可能会使小的 Pandas UDF 批次被迭代和流水线化；但是，这可能会降低性能。请参阅 SPARK-27870。

如果为 true，则简化 Python UDF 的回溯。它隐藏了 PySpark 中的 Python 工作器、(反)序列化等，并且只显示 UDF 中的异常消息。请注意，这仅适用于 CPython 3.7+。

在常规 Python UDF 中启用 Arrow 优化。此优化仅在给定函数至少接受一个参数时才能启用。

为 Python UDTF 启用 Arrow 优化。

在具有 SORT 后跟 LIMIT 的 SQL 查询中，例如 'SELECT x FROM t ORDER BY y LIMIT m'，如果 m 小于此阈值，则在内存中执行 top-K 排序，否则执行全局排序，如果需要，则溢出到磁盘。

是否忽略损坏的文件。如果为 true，则 Spark 作业将在遇到损坏的文件时继续运行，并且已读取的内容仍将被返回。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

是否忽略丢失的文件。如果为 true，则 Spark 作业将在遇到丢失的文件时继续运行，并且已读取的内容仍将被返回。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

读取文件时打包到单个分区中的最大字节数。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

建议的（不保证）最大拆分文件分区数。如果设置了它，Spark 将重新调整每个分区的大小，以使分区数接近此值，如果初始分区数超过此值。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

写入单个文件的最大记录数。如果此值为零或负数，则没有限制。

建议的（不保证）最小拆分文件分区数。如果未设置，则默认值为 spark.sql.leafNodeDefaultParallelism。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

如果此选项设置为 false 并且所有输入都是二进制的，则 functions.concat 将返回二进制输出。否则，它将返回字符串。

如果此选项设置为 false 并且所有输入都是二进制的，则 elt 将返回二进制输出。否则，它将返回字符串。

如果为 true，则 select 列表中的别名可以在 group by 子句中使用。如果为 false，则在这种情况发生时会抛出分析异常。

如果为 true，则 group by 子句中的序数将被视为 select 列表中的位置。如果为 false，则序数将被忽略。

如果设置为 true，并且 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 为 true，则内置 ORC/Parquet 写入器将用于处理插入使用 HiveSQL 语法创建的分区 ORC/Parquet 表。

如果设置为 true，Spark 将尝试使用内置数据源写入器而不是 Hive serde 在 CTAS 中。此标志仅在分别为 Parquet 和 ORC 格式启用了 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 时有效。

如果设置为 true，Spark 将尝试使用内置数据源写入器而不是 Hive serde 在 INSERT OVERWRITE DIRECTORY 中。此标志仅在分别为 Parquet 和 ORC 格式启用了 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 时有效。

如果设置为 true，则内置 ORC 读取器和写入器将用于处理使用 HiveQL 语法创建的 ORC 表，而不是 Hive serde。

如果设置为 true，则内置 Parquet 读取器和写入器将用于处理使用 HiveQL 语法创建的 parquet 表，而不是 Hive serde。

如果为 true，则还尝试合并不同但兼容的 Parquet 架构（可能存在于不同的 Parquet 数据文件中）。此配置仅在 "spark.sql.hive.convertMetastoreParquet" 为 true 时有效。

如果为 true，Spark 将获取分区名称而不是分区对象来删除分区，这可以提高删除分区的性能。

如果非零，则启用在内存中缓存分区文件元数据。所有表共享一个缓存，该缓存最多可以使用指定的字节数来存储文件元数据。此配置仅在启用了 hive filesource 分区管理时有效。

如果为 true，则为文件源表启用元存储分区管理。这包括数据源表和转换后的 Hive 表。启用分区管理后，数据源表将分区存储在 Hive 元存储中，并在 spark.sql.hive.metastorePartitionPruning 设置为 true 时使用元存储来修剪查询规划期间的分区。

如果为真，一些谓词将被推送到 Hive 元存储中，以便更早地消除不匹配的分区。

当从元存储中遇到 MetaException 时，是否回退到从 Hive 元存储中获取所有分区并在 Spark 客户端侧执行分区修剪。请注意，如果启用此选项并且有许多分区要列出，Spark 查询性能可能会下降。如果禁用此选项，Spark 将失败查询。

当此配置启用时，如果谓词不受 Hive 支持或 Spark 由于遇到来自元存储的 MetaException 而回退，Spark 将改为通过首先获取分区名称，然后在客户端侧评估过滤器表达式来修剪分区。请注意，具有 TimeZoneAwareExpression 的谓词不受支持。

当设置为 true 时，Hive Thrift 服务器以异步方式执行 SQL 查询。

如果为真，则在读取存储在 HDFS 中的数据时检查表根目录下的所有分区路径。此配置将在将来的版本中弃用，并由 spark.files.ignoreMissingFiles 替换。

控制列式缓存的批次大小。较大的批次大小可以提高内存利用率和压缩，但在缓存数据时会冒 OOM 的风险。

当设置为 true 时，Spark SQL 将根据数据的统计信息自动为每列选择压缩编解码器。

为列式缓存启用矢量化读取器。

如果为真，则启用对 JSON 数据源的过滤器下推。

在 JSON 数据源和 JSON 函数（如 to_json）中生成 JSON 对象时是否忽略空字段。如果为 false，则在 JSON 对象中为空字段生成 null。

生成数据的 Spark SQL 叶节点的默认并行度，例如文件扫描节点、本地数据扫描节点、范围节点等。此配置的默认值为 'SparkContext#defaultParallelism'。

在内置函数中对 map 键进行重复数据消除的策略：CreateMap、MapFromArrays、MapFromEntries、StringToMap、MapConcat 和 TransformKeys。当为 EXCEPTION 时，如果检测到重复的 map 键，则查询将失败。当为 LAST_WIN 时，最后插入的 map 键优先。

可选的额外远程 Maven 镜像存储库的逗号分隔字符串配置。这仅在默认的 Maven Central 存储库不可访问时用于在 IsolatedClientLoader 中下载 Hive jar 包。

元数据字符串的输出字符数上限。例如，DataSourceScanExec 中的文件位置，如果超过长度，每个值都将被缩写。

计划字符串的输出字符数上限。如果计划更长，则将截断进一步的输出。默认设置始终生成完整计划。如果计划字符串占用太多内存或在驱动程序或 UI 进程中导致内存不足错误，请将其设置为较低的值，例如 8k。

单个分区允许的最大字节数。否则，规划器将引入混洗以提高并行度。

是否始终折叠两个相邻的投影并内联表达式，即使这会导致额外的重复。

如果为真，当分区列用作连接键时，我们将生成分区列的谓词。

是否在 SQL 优化器中优化 CSV 表达式。它包括从 from_csv 中修剪不必要的列。

是否在 SQL 优化器中优化 JSON 表达式。它包括从 from_json 中修剪不必要的列，简化 from_json + to_json，to_json + named_struct(from_json.col1, from_json.col2, ....)。

配置要在优化器中禁用的规则列表，其中规则由其规则名称指定，并用逗号分隔。不能保证此配置中的所有规则最终都会被排除，因为某些规则对于正确性是必要的。优化器将记录实际被排除的规则。

布隆过滤器应用侧计划的聚合扫描大小的字节大小阈值。布隆过滤器应用侧的聚合扫描字节大小需要超过此值才能注入布隆过滤器。

布隆过滤器创建侧计划的大小阈值。估计大小需要低于此值才能尝试注入布隆过滤器。

如果为真，并且混洗连接的一侧具有选择性谓词，我们将尝试在另一侧插入布隆过滤器以减少混洗数据量。

运行时布隆过滤器的预期项目数的默认值。

用于运行时布隆过滤器的最大位数。

运行时布隆过滤器允许的最大预期项目数。

用于运行时布隆过滤器的默认位数。

为基于组的逐行操作启用运行时组过滤。替换数据组（例如文件、分区）的数据源可以在规划逐行操作扫描时使用提供的数据源过滤器修剪整个组。但是，这种过滤是有限的，因为并非所有表达式都可以转换为数据源过滤器，并且某些表达式只能由 Spark 评估（例如子查询）。由于重写组很昂贵，Spark 可以运行时执行查询以查找匹配逐行操作条件的记录。有关匹配记录的信息将传递回逐行操作扫描，允许数据源丢弃不需要重写的组。

单个查询注入的运行时过滤器（非 DPP）的总数。这是为了防止驱动程序因太多布隆过滤器而导致内存不足。

如果为真，并且混洗连接的一侧具有选择性谓词，我们将尝试在另一侧插入半连接以减少混洗数据量。

如果为真，聚合将被推送到 ORC 以进行优化。支持 MIN、MAX 和 COUNT 作为聚合表达式。对于 MIN/MAX，支持布尔值、整数、浮点数和日期类型。对于 COUNT，支持所有数据类型。如果任何 ORC 文件页脚缺少统计信息，将抛出异常。

包含在 orc 矢量化读取器批次中的行数。应仔细选择此数字以最大程度地减少开销并避免在读取数据时出现内存不足错误。

包含在 orc 矢量化写入器批次中的行数。应仔细选择此数字以最大程度地减少开销并避免在写入数据时出现内存不足错误。

设置写入 ORC 文件时使用的压缩编解码器。如果在特定于表的选项/属性中指定了 compression 或 orc.compress，则优先级将是 compression、orc.compress、spark.sql.orc.compression.codec。可接受的值包括：none、uncompressed、snappy、zlib、lzo、zstd、lz4。

为嵌套列启用矢量化 orc 解码。

启用矢量化 orc 解码。

如果为真，则启用对 ORC 文件的过滤器下推。

如果为真，Orc 数据源将合并从所有数据文件收集的模式，否则模式将从随机数据文件选择。

如果为真，则序数将被视为 select 列表中的位置。如果为 false，则 order/sort by 子句中的序数将被忽略。

如果为真，聚合将被推送到 Parquet 以进行优化。支持 MIN、MAX 和 COUNT 作为聚合表达式。对于 MIN/MAX，支持布尔值、整数、浮点数和日期类型。对于 COUNT，支持所有数据类型。如果任何 Parquet 文件页脚缺少统计信息，将抛出异常。

一些其他生成 Parquet 的系统，特别是 Impala 和旧版本的 Spark SQL，在写入 Parquet 模式时不会区分二进制数据和字符串。此标志告诉 Spark SQL 将二进制数据解释为字符串，以提供与这些系统的兼容性。

包含在 parquet 矢量化读取器批次中的行数。应仔细选择此数字以最大程度地减少开销并避免在读取数据时出现内存不足错误。

设置写入 Parquet 文件时使用的压缩编解码器。如果在特定于表的选项/属性中指定了 compression 或 parquet.compression，则优先级将是 compression、parquet.compression、spark.sql.parquet.compression.codec。可接受的值包括：none、uncompressed、snappy、gzip、lzo、brotli、lz4、lz4raw、lz4_raw、zstd。

为嵌套列（例如结构体、列表、映射）启用矢量化 Parquet 解码。需要启用 spark.sql.parquet.enableVectorizedReader。

启用矢量化 parquet 解码。

字段 ID 是 Parquet 模式规范的本机字段。启用后，Parquet 读取器将使用请求的 Spark 模式中的字段 ID（如果存在）来查找 Parquet 字段，而不是使用列名。

当 Parquet 文件没有任何字段 ID，但 Spark 读取模式使用字段 ID 来读取时，如果启用此标志，我们将静默返回 null，否则会报错。

字段 ID 是 Parquet 模式规范的原生字段。启用后，Parquet 写入器将填充 Spark 模式中的字段 ID 元数据（如果存在）到 Parquet 模式中。

设置为 true 时，启用 Parquet 过滤器下推优化。

启用后，在模式推断期间，带有注释 isAdjustedToUTC = false 的 Parquet 时间戳列将被推断为 TIMESTAMP_NTZ 类型。否则，所有 Parquet 时间戳列都将被推断为 TIMESTAMP_LTZ 类型。请注意，Spark 将输出模式写入文件写入时的 Parquet 页脚元数据中，并在文件读取时利用它。因此，此配置仅影响未由 Spark 写入的 Parquet 文件的模式推断。

某些 Parquet 生成系统，特别是 Impala，将时间戳存储为 INT96。Spark 也将时间戳存储为 INT96，因为我们需要避免纳秒字段的精度丢失。此标志告诉 Spark SQL 将 INT96 数据解释为时间戳，以提供与这些系统的兼容性。

这控制在将 INT96 数据转换为时间戳时，是否应将时间戳调整应用于 INT96 数据，用于 Impala 写入的数据。这是必要的，因为 Impala 以与 Hive 和 Spark 不同的时区偏移量存储 INT96 数据。

设置为 true 时，Parquet 数据源会合并从所有数据文件收集的模式，否则模式将从摘要文件或随机数据文件（如果不存在摘要文件）中选取。

设置 Spark 将数据写入 Parquet 文件时要使用的 Parquet 时间戳类型。INT96 是 Parquet 中的一种非标准但常用的时间戳类型。TIMESTAMP_MICROS 是 Parquet 中的标准时间戳类型，它存储自 Unix 纪元以来的微秒数。TIMESTAMP_MILLIS 也是标准的，但精度为毫秒，这意味着 Spark 必须截断其时间戳值的微秒部分。

如果为 true，则启用 Parquet 的本机记录级过滤，使用下推的过滤器。此配置仅在 'spark.sql.parquet.filterPushdown' 启用且未使用矢量化读取器时才有效。可以通过将 'spark.sql.parquet.enableVectorizedReader' 设置为 false 来确保未使用矢量化读取器。

设置为 true 时，我们假设 Parquet 的所有部分文件与摘要文件一致，并且在合并模式时将忽略它们。否则，如果为 false（默认值），我们将合并所有部分文件。这应被视为仅供专家使用的选项，在了解其确切含义之前不应启用。

如果为 true，数据将以 Spark 1.4 及更早版本的方式写入。例如，十进制值将以 Apache Parquet 的固定长度字节数组格式写入，其他系统（如 Apache Hive 和 Apache Impala）使用这种格式。如果为 false，将使用 Parquet 中的较新格式。例如，小数将以基于整数的格式写入。如果 Parquet 输出旨在用于不支持这种较新格式的系统，请设置为 true。

设置为 true 时，SELECT 语句中的引号标识符（使用反引号）将被解释为正则表达式。

在不为枢轴列指定值的情况下执行枢轴时，这是将在没有错误的情况下收集的（不同）值的最大数量。

默认情况下，PySpark 的 SparkSession.createDataFrame 将嵌套字典推断为映射。设置为 true 时，它将嵌套字典推断为结构。

设置为 true 时，它将在面向用户的 PySpark 异常中显示 JVM 堆栈跟踪以及 Python 堆栈跟踪。默认情况下，它被禁用以隐藏 JVM 堆栈跟踪，并且仅显示面向 Python 的异常。请注意，这与日志级别设置无关。

默认情况下，PySpark 的 SparkSession.createDataFrame 从数组中的所有值推断数组的元素类型。如果此配置设置为 true，它将恢复仅从第一个数组元素推断类型的旧行为。

设置为 true 时，Spark 在读取 CHAR 类型列/字段时应用字符串填充，除了写入端填充之外。此配置默认情况下为 true，以更好地在外部表等情况下强制执行 CHAR 类型语义。

用于确定 Spark SQL 命令的选项映射中哪些键包含敏感信息的正则表达式。名称与该正则表达式匹配的选项的值将在解释输出中被删除。此删除应用于由 spark.redaction.regex 定义的全局删除配置之上。

用于确定 Spark 生成的字符串的哪些部分包含敏感信息的正则表达式。当此正则表达式匹配字符串的一部分时，该字符串部分将被替换为虚拟值。这目前用于删除 SQL 解释命令的输出。当未设置此配置时，将使用 spark.redaction.string.regex 中的值。

启用或禁用急切评估。设置为 true 时，仅当 REPL 支持急切评估时，才会显示数据集的前 K 行。目前，PySpark 和 SparkR 支持急切评估。在 PySpark 中，对于 Jupyter 等笔记本，将返回 HTML 表格（由 repr_html 生成）。对于纯 Python REPL，返回的输出格式类似于 dataframe.show()。在 SparkR 中，返回的输出显示类似于 R data.frame。

急切评估返回的行数最大值。这仅在 spark.sql.repl.eagerEval.enabled 设置为 true 时才生效。此配置的有效范围为 0 到 (Int.MaxValue - 1)，因此负数和大于 (Int.MaxValue - 1) 的无效配置将被规范化为 0 和 (Int.MaxValue - 1)。

急切评估返回的每个单元格的字符数最大值。这仅在 spark.sql.repl.eagerEval.enabled 设置为 true 时才生效。

在序列化后，在驱动程序端缓存本地关系的大小（以字节为单位）的阈值。

会话本地时区的 ID，格式为基于区域的时区 ID 或时区偏移量。区域 ID 必须采用 'area/city' 的形式，例如 'America/Los_Angeles'。时区偏移量必须采用 '(+|-)HH'、'(+|-)HH:mm' 或 '(+|-)HH:mm:ss' 的格式，例如 '-08'、'+01:00' 或 '-13:33:33'。'UTC' 和 'Z' 也支持作为 '+00:00' 的别名。不建议使用其他简短名称，因为它们可能不明确。

在为联接或聚合对数据进行混洗时要使用的分区数的默认值。注意：对于结构化流，此配置在从同一检查点位置重新启动查询之间不可更改。

如果小端数据大小乘以该因子仍然小于大端数据大小，则可以选择混洗哈希联接。

设置为 true 时，根据查询计划自动决定是否对输入表进行桶扫描。如果 1. 查询没有利用桶的运算符（例如联接、分组等），或者 2. 这些运算符和表扫描之间存在交换运算符，则不要进行桶扫描。请注意，当 'spark.sql.sources.bucketing.enabled' 设置为 false 时，此配置不会生效。

设置为 false 时，我们将把桶表视为普通表。

允许的最大桶数。

在输入/输出中使用的默认数据源。

在驱动程序端允许列出文件的最大路径数。如果在分区发现期间检测到的路径数超过此值，它将尝试使用另一个 Spark 分布式作业列出文件。此配置仅在使用基于文件的源（如 Parquet、JSON 和 ORC）时有效。

设置为 true 时，自动推断分区列的数据类型。

在 INSERT OVERWRITE 分区数据源表时，我们目前支持两种模式：静态和动态。在静态模式下，Spark 会在覆盖之前删除与 INSERT 语句中的分区规范（例如 PARTITION(a=1,b)）匹配的所有分区。在动态模式下，Spark 不会提前删除分区，只会覆盖在运行时写入数据的那些分区。默认情况下，我们使用静态模式以保持 Spark 在 2.3 之前的行为。请注意，此配置不会影响 Hive serde 表，因为它们始终以动态模式覆盖。这也可以作为数据源的输出选项设置，使用键 partitionOverwriteMode（优先于此设置），例如 dataframe.write.option("partitionOverwriteMode", "dynamic").save(path)。

与 spark.sql.sources.bucketing.enabled 类似，此配置用于为 V2 数据源启用桶。启用后，Spark 将通过 SupportsReportPartitioning 识别 V2 数据源报告的特定分布，并在必要时尝试避免混洗。

在存储分区联接期间，是否允许输入分区部分聚类，当联接的两侧都是 KeyGroupedPartitioning 时。在规划时，Spark 将根据表统计信息选择数据大小较小的一侧，对其进行分组和复制以匹配另一侧。这是对倾斜联接的优化，可以帮助减少某些分区分配大量数据时的数据倾斜。此配置要求 spark.sql.sources.v2.bucketing.enabled 和 spark.sql.sources.v2.bucketing.pushPartValues.enabled 都启用。

当 spark.sql.sources.v2.bucketing.enabled 启用时，是否要下推公共分区值。启用后，如果联接的两侧都是 KeyGroupedPartitioning，并且它们共享兼容的分区键，即使它们没有完全相同的分区值，Spark 也会计算分区值的超集，并将该信息下推到扫描节点，扫描节点将使用空分区来表示两侧缺少的分区值。这有助于消除不必要的混洗。

设置为 true 时，如果表元数据中没有表统计信息，它将回退到 HDFS。这在确定表是否足够小以使用广播联接时很有用。此标志仅对非分区 Hive 表有效。对于非分区数据源表，如果表统计信息不可用，它将自动重新计算。对于分区数据源和分区 Hive 表，如果表统计信息不可用，它将是 'spark.sql.defaultSizeInBytes'。

如果启用，在计算列统计信息时生成直方图。直方图可以提供更好的估计精度。目前，Spark 仅支持等高直方图。请注意，收集直方图需要额外的成本。例如，收集列统计信息通常只需要一次表扫描，但生成等高直方图会导致额外的表扫描。

启用对表大小的自动更新，一旦表的數據发生变化。请注意，如果表的总文件数非常大，这可能会很昂贵，并会减慢数据更改命令的速度。

当将值插入到具有不同数据类型的列时，Spark 将执行类型强制转换。目前，我们支持三种类型强制转换规则策略：ANSI、legacy 和 strict。使用 ANSI 策略，Spark 按照 ANSI SQL 执行类型强制转换。在实践中，行为与 PostgreSQL 大致相同。它不允许某些不合理的类型转换，例如将 string 转换为 int 或 double 转换为 boolean。使用 legacy 策略，Spark 允许类型强制转换，只要它是有效的 Cast，这非常宽松。例如，允许将 string 转换为 int 或 double 转换为 boolean。这也是 Spark 2.x 中唯一的行为，并且与 Hive 兼容。使用 strict 策略，Spark 不允许类型强制转换中任何可能的精度损失或数据截断，例如，不允许将 double 转换为 int 或 decimal 转换为 double。

用于存储流查询检查点数据的默认位置。

要存储在队列中以等待延迟纪元的最大条目数。如果队列的大小超过了此参数，流将停止并出现错误。

禁用 StreamWriteSupport 的完全限定数据源注册类名的逗号分隔列表。写入这些源将回退到 V1 接收器。

文件源已完成文件清理器中使用的线程数。

当为真时，启用临时检查点位置强制删除。

是否为活动流查询报告 Dropwizard/Codahale 指标。

当流查询中存在多个水印操作符时，用于计算全局水印值的策略。默认值为“min”，它选择跨多个操作符报告的最小水印。另一个备选值为“max”，它选择跨多个操作符的最大值。注意：此配置在从同一检查点位置重新启动查询之间不能更改。

流微批引擎是否将在没有数据的情况下执行批次，以对有状态流查询进行急切状态管理。

要为流查询保留的进度更新数量

当为真时，流会话窗口在混洗之前对本地分区中的会话进行排序和合并。这样做是为了减少要混洗的行，但只有在将大量行分配到同一会话的批次中时才有效。

当为真时，Spark 将验证状态模式与现有状态上的模式，如果它不兼容，则会使查询失败。

不支持同时运行同一流查询的多个运行。如果我们发现同一流查询（在同一集群上的相同或不同的 SparkSession 中）的并发活动运行，并且此标志为真，我们将停止旧的流查询运行以启动新的运行。

在调用流查询的 stop() 方法时，等待流执行线程停止的毫秒数。0 或负值无限期等待。

当为真时，如果一个取消了查询，所有正在运行的任务都将被中断。当为假时，所有正在运行的任务都将保留到完成为止。

在 Thrift Server 中设置查询持续时间超时（以秒为单位）。如果超时设置为正值，则运行的查询将在超时超过时自动取消，否则查询将继续运行直到完成。如果通过 java.sql.Statement.setQueryTimeout 为每个语句设置超时值，并且它们小于此配置值，则它们优先。如果您设置了此超时，并且希望立即取消查询，而不等待任务完成，请考虑同时启用 spark.sql.thriftServer.interruptOnCancel。

为 JDBC 客户端会话设置公平调度程序池。

JDBC/ODBC Web UI 历史记录中保留的 SQL 客户端会话数。

JDBC/ODBC Web UI 历史记录中保留的 SQL 语句数。

配置 Spark SQL 的默认时间戳类型，包括 SQL DDL、Cast 子句、类型文字和数据源的模式推断。将配置设置为 TIMESTAMP_NTZ 将使用 TIMESTAMP WITHOUT TIME ZONE 作为默认类型，而将其设置为 TIMESTAMP_LTZ 将使用 TIMESTAMP WITH LOCAL TIME ZONE。在 3.4.0 版本之前，Spark 仅支持 TIMESTAMP WITH LOCAL TIME ZONE 类型。

当为真时，允许表值函数使用多个表参数，接收这些表的行的笛卡尔积。

配置 Spark SQL UI 中使用的查询解释模式。该值可以是“simple”、“extended”、“codegen”、“cost”或“formatted”。默认值为“formatted”。

这将启用使用 ${var}、${system:var} 和 ${env:var} 等语法进行替换。

实现 org.apache.spark.sql.columnar.CachedBatchSerializer 的类的名称。它将用于将 SQL 数据转换为可以更有效地缓存的格式。底层 API 可能会发生变化，因此请谨慎使用。不能指定多个类。该类必须具有无参数构造函数。

会话目录的默认数据库。

SQL 长度的阈值，超过该阈值，它将在添加到事件之前被截断。默认情况下不截断。如果设置为 0，则会记录调用站点。

实现 Function1[SparkSessionExtensions, Unit] 的类的逗号分隔列表，用于配置 Spark 会话扩展。这些类必须具有无参数构造函数。如果指定了多个扩展，则它们将按指定的顺序应用。对于规则和规划器策略，它们将按指定的顺序应用。对于解析器，将使用最后一个解析器，并且每个解析器都可以委托给其前一个解析器。对于函数名称冲突，将使用最后注册的函数名称。

应为 Spark SQL 与之通信的每个版本的 Hive 显式重新加载的类前缀的逗号分隔列表。例如，在通常应共享的前缀（即 org.apache.spark.*）中声明的 Hive UDF。

应用于实例化 HiveMetastoreClient 的 jar 的位置。此属性可以是以下四个选项之一：1. “builtin” 使用 Hive 2.3.9，它在启用 -Phive 时与 Spark 程序集捆绑在一起。选择此选项时，spark.sql.hive.metastore.version 必须为 2.3.9 或未定义。2. “maven” 使用从 Maven 存储库下载的指定版本的 Hive jar。3. “path” 使用由 spark.sql.hive.metastore.jars.path 以逗号分隔的格式配置的 Hive jar。支持本地或远程路径。提供的 jar 应与 spark.sql.hive.metastore.version 版本相同。4. Hive 和 Hadoop 的标准格式的类路径。提供的 jar 应与 spark.sql.hive.metastore.version 版本相同。

用于实例化 HiveMetastoreClient 的 jar 的逗号分隔路径。仅当 spark.sql.hive.metastore.jars 设置为 path 时，此配置才有效。路径可以是以下任何格式：1. file://path/to/jar/foo.jar 2. hdfs://nameservice/path/to/jar/foo.jar 3. /path/to/jar/（没有 URI 方案的路径遵循 conf fs.defaultFS 的 URI 方案）4. [http/https/ftp]://path/to/jar/foo.jar 请注意，1、2 和 3 支持通配符。例如：1. file://path/to/jar/,file://path2/to/jar//.jar 2. hdfs://nameservice/path/to/jar/,hdfs://nameservice2/path/to/jar//.jar

应使用 Spark SQL 和特定版本的 Hive 之间共享的类加载器加载的类前缀的逗号分隔列表。需要共享的类的示例是与元存储通信所需的 JDBC 驱动程序。需要共享的其他类是那些与已经共享的类交互的类。例如，由 log4j 使用的自定义追加器。

Hive 元存储的版本。可用选项是 0.12.0 到 2.3.9 以及 3.0.0 到 3.1.3。

当设置为 true 时，Hive Thrift 服务器以单会话模式运行。所有 JDBC/ODBC 连接共享临时视图、函数注册表、SQL 配置和当前数据库。

与 Spark 发行版捆绑在一起的已编译（也称为内置）Hive 版本。请注意，这是一个只读配置，仅用于报告内置的 hive 版本。如果您希望 Spark 使用不同的元存储客户端，请参考 spark.sql.hive.metastore.version。

元数据缓存的生存时间 (TTL) 值：分区文件元数据缓存和会话目录缓存。此配置仅在该值具有正值 (> 0) 时才有效。它还需要将“spark.sql.catalogImplementation”设置为 hive，将“spark.sql.hive.filesourcePartitionFileCacheSize”设置为 > 0，并将“spark.sql.hive.manageFilesourcePartitions”设置为 true 以应用于分区文件元数据缓存。

实现 QueryExecutionListener 的类名列表，这些类名将自动添加到新创建的会话中。这些类应该具有无参数构造函数，或者具有期望 SparkConf 参数的构造函数。

配置被禁用的 JDBC 连接提供程序列表。该列表包含以逗号分隔的 JDBC 连接提供程序的名称。

实现 StreamingQueryListener 的类名列表，这些类名将自动添加到新创建的会话中。这些类应该具有无参数构造函数，或者具有期望 SparkConf 参数的构造函数。

当 Spark Web UI 启用时，是否为 Spark 应用程序运行结构化流 Web UI。

用于结构化流 UI 的流式查询保留的进度更新数量。

用于结构化流 UI 保留的非活动查询数量。

在 Spark UI 中保留的执行次数。

托管数据库和表的默认位置。