Spark SQL 指南

数据类型

支持的数据类型

Spark SQL 和 DataFrames 支持以下数据类型

Spark SQL 的所有数据类型都位于 pyspark.sql.types 包中。您可以通过以下方式访问它们

from pyspark.sql.types import *
数据类型 Python 中的值类型 访问或创建数据类型的 API
ByteType int
注意：数字将在运行时转换为 1 字节有符号整数。请确保数字在 -128 到 127 之间。		 ByteType()
ShortType int
注意：数字将在运行时转换为 2 字节有符号整数。请确保数字在 -32768 到 32767 之间。		 ShortType()
IntegerType int IntegerType()
LongType int
注意：数字将在运行时转换为 8 字节有符号整数。请确保数字在 -9223372036854775808 到 9223372036854775807 之间。否则，请将数据转换为 decimal.Decimal 并使用 DecimalType。		 LongType()
FloatType float
注意：数字将在运行时转换为 4 字节单精度浮点数。		 FloatType()
DoubleType float DoubleType()
DecimalType decimal.Decimal DecimalType()
StringType str StringType()
CharType(length) str CharType(length)
VarcharType(length) str VarcharType(length)
BinaryType bytearray BinaryType()
BooleanType bool BooleanType()
TimestampType datetime.datetime TimestampType()
TimestampNTZType datetime.datetime TimestampNTZType()
DateType datetime.date DateType()
DayTimeIntervalType datetime.timedelta DayTimeIntervalType()
ArrayType list, tuple, or array ArrayType(elementType, [containsNull])
注意：containsNull 的默认值为 True。
MapType dict MapType(keyType, valueType, [valueContainsNull])
注意：valueContainsNull 的默认值为 True。
StructType list 或 tuple StructType(fields)
注意：fields 是 StructField 的序列。此外，不允许两个字段具有相同的名称。
StructField 此字段数据类型在 Python 中的值类型
（例如，对于数据类型为 IntegerType 的 StructField，值为 Int）		 StructField(name, dataType, [nullable])
注意：nullable 的默认值为 True。

Spark SQL 的所有数据类型都位于 org.apache.spark.sql.types 包中。您可以通过以下方式访问它们

import org.apache.spark.sql.types._
完整的示例代码可在 Spark 仓库中的 "examples/src/main/scala/org/apache/spark/examples/sql/SparkSQLExample.scala" 路径下找到。
数据类型 Scala 中的值类型 访问或创建数据类型的 API
ByteType Byte ByteType
ShortType Short ShortType
IntegerType Int IntegerType
LongType Long LongType
FloatType Float FloatType
DoubleType Double DoubleType
DecimalType java.math.BigDecimal DecimalType
StringType String StringType
CharType(length) String CharType(length)
VarcharType(length) String VarcharType(length)
BinaryType Array[Byte] BinaryType
BooleanType Boolean BooleanType
TimestampType java.time.Instant 或 java.sql.Timestamp TimestampType
TimestampNTZType java.time.LocalDateTime TimestampNTZType
DateType java.time.LocalDate 或 java.sql.Date DateType
YearMonthIntervalType java.time.Period YearMonthIntervalType
DayTimeIntervalType java.time.Duration DayTimeIntervalType
ArrayType scala.collection.Seq ArrayType(elementType, [containsNull])
注意：containsNull 的默认值为 true。
MapType scala.collection.Map MapType(keyType, valueType, [valueContainsNull])
注意：valueContainsNull 的默认值为 true。
StructType org.apache.spark.sql.Row StructType(fields)
注意：fields 是 StructField 的序列。此外，不允许两个字段具有相同的名称。
StructField 此字段数据类型在 Scala 中的值类型（例如，对于数据类型为 IntegerType 的 StructField，值为 Int） StructField(name, dataType, [nullable])
注意：nullable 的默认值为 true。

Spark SQL 的所有数据类型都位于 org.apache.spark.sql.types 包中。要访问或创建数据类型，请使用 org.apache.spark.sql.types.DataTypes 中提供的工厂方法。

数据类型 Java 中的值类型 访问或创建数据类型的 API
ByteType byte 或 Byte DataTypes.ByteType
ShortType short 或 Short DataTypes.ShortType
IntegerType int 或 Integer DataTypes.IntegerType
LongType long 或 Long DataTypes.LongType
FloatType float 或 Float DataTypes.FloatType
DoubleType double 或 Double DataTypes.DoubleType
DecimalType java.math.BigDecimal DataTypes.createDecimalType()
DataTypes.createDecimalType(precision, scale)。
StringType String DataTypes.StringType
CharType(length) String DataTypes.createCharType(length)
VarcharType(length) String DataTypes.createVarcharType(length)
BinaryType byte[] DataTypes.BinaryType
BooleanType boolean 或 Boolean DataTypes.BooleanType
TimestampType java.time.Instant 或 java.sql.Timestamp DataTypes.TimestampType
TimestampNTZType java.time.LocalDateTime DataTypes.TimestampNTZType
DateType java.time.LocalDate 或 java.sql.Date DataTypes.DateType
YearMonthIntervalType java.time.Period DataTypes.YearMonthIntervalType
DayTimeIntervalType java.time.Duration DataTypes.DayTimeIntervalType
ArrayType java.util.List DataTypes.createArrayType(elementType)
注意：containsNull 的值将为 true。
DataTypes.createArrayType(elementType, containsNull)。
MapType java.util.Map DataTypes.createMapType(keyType, valueType)
注意：valueContainsNull 的值将为 true。
DataTypes.createMapType(keyType, valueType, valueContainsNull)
StructType org.apache.spark.sql.Row DataTypes.createStructType(fields)
注意：fields 是 StructField 的 List 或数组。此外，不允许两个字段具有相同的名称。
StructField 此字段数据类型在 Java 中的值类型（例如，对于数据类型为 IntegerType 的 StructField，值为 int） DataTypes.createStructField(name, dataType, nullable)
数据类型 R 中的值类型 访问或创建数据类型的 API
ByteType integer
注意：数字将在运行时转换为 1 字节有符号整数。请确保数字在 -128 到 127 之间。		 “byte”
ShortType integer
注意：数字将在运行时转换为 2 字节有符号整数。请确保数字在 -32768 到 32767 之间。		 “short”
IntegerType integer “integer”
LongType integer
注意：数字将在运行时转换为 8 字节有符号整数。请确保数字在 -9223372036854775808 到 9223372036854775807 之间。否则，请将数据转换为 decimal.Decimal 并使用 DecimalType。		 “long”
FloatType numeric
注意：数字将在运行时转换为 4 字节单精度浮点数。		 “float”
DoubleType numeric “double”
DecimalType 不支持 不支持
StringType character “string”
BinaryType raw “binary”
BooleanType logical “bool”
TimestampType POSIXct “timestamp”
DateType Date “date”
ArrayType vector 或 list list(type=”array”, elementType=elementType, containsNull=[containsNull])
注意：containsNull 的默认值为 TRUE。
MapType environment list(type=”map”, keyType=keyType, valueType=valueType, valueContainsNull=[valueContainsNull])
注意：valueContainsNull 的默认值为 TRUE。
StructType named list list(type=”struct”, fields=fields)
注意：fields 是 StructField 的序列。此外，不允许两个字段具有相同的名称。
StructField 此字段数据类型在 R 中的值类型（例如，对于数据类型为 IntegerType 的 StructField，值为 integer） list(name=name, type=dataType, nullable=[nullable])
注意：nullable 的默认值为 TRUE。

下表显示了 Spark SQL 解析器中每种数据类型的类型名称和别名。

数据类型 SQL 名称
BooleanType BOOLEAN
ByteType BYTE, TINYINT
ShortType SHORT, SMALLINT
IntegerType INT, INTEGER
LongType LONG, BIGINT
FloatType FLOAT, REAL
DoubleType DOUBLE
DateType DATE
TimestampType TIMESTAMP, TIMESTAMP_LTZ
TimestampNTZType TIMESTAMP_NTZ
StringType STRING
CharType(length) CHAR(length)
VarcharType(length) VARCHAR(length)
BinaryType BINARY
DecimalType DECIMAL, DEC, NUMERIC
YearMonthIntervalType INTERVAL YEAR, INTERVAL YEAR TO MONTH, INTERVAL MONTH
DayTimeIntervalType INTERVAL DAY, INTERVAL DAY TO HOUR, INTERVAL DAY TO MINUTE, INTERVAL DAY TO SECOND, INTERVAL HOUR, INTERVAL HOUR TO MINUTE, INTERVAL HOUR TO SECOND, INTERVAL MINUTE, INTERVAL MINUTE TO SECOND, INTERVAL SECOND
ArrayType ARRAY<element_type>
StructType STRUCT<field1_name: field1_type, field2_name: field2_type, …>
注意：‘:’ 是可选的。
MapType MAP<key_type, value_type>

浮点特殊值

Spark SQL 以不区分大小写的方式支持几种特殊的浮点值

正/负无穷大语义

对正负无穷大有特殊处理。它们具有以下语义

NaN 语义

处理 float 或 double 类型时，对非数字 (NaN) 有特殊处理，这不完全符合标准浮点语义。具体来说

示例

SELECT double('infinity') AS col;
+--------+
|     col|
+--------+
|Infinity|
+--------+

SELECT float('-inf') AS col;
+---------+
|      col|
+---------+
|-Infinity|
+---------+

SELECT float('NaN') AS col;
+---+
|col|
+---+
|NaN|
+---+

SELECT double('infinity') * 0 AS col;
+---+
|col|
+---+
|NaN|
+---+

SELECT double('-infinity') * (-1234567) AS col;
+--------+
|     col|
+--------+
|Infinity|
+--------+

SELECT double('infinity') < double('NaN') AS col;
+----+
| col|
+----+
|true|
+----+

SELECT double('NaN') = double('NaN') AS col;
+----+
| col|
+----+
|true|
+----+

SELECT double('inf') = double('infinity') AS col;
+----+
| col|
+----+
|true|
+----+

CREATE TABLE test (c1 int, c2 double);
INSERT INTO test VALUES
  (1, double('infinity')),
  (2, double('infinity')),
  (3, double('inf')),
  (4, double('-inf')),
  (5, double('NaN')),
  (6, double('NaN')),
  (7, double('-infinity'))
;
SELECT COUNT(*), c2
FROM test
GROUP BY c2
ORDER BY c2;
+---------+---------+
| count(1)|       c2|
+---------+---------+
|        2|-Infinity|
|        3| Infinity|
|        2|      NaN|
+---------+---------+