二进制文件数据源

从 Spark 3.0 开始，Spark 支持二进制文件数据源，它读取二进制文件并将每个文件转换为包含文件原始内容和元数据的单个记录。它生成一个具有以下列和可能的分区列的 DataFrame

要读取整个二进制文件，您需要将数据源 format 指定为 binaryFile。要加载与给定 glob 模式匹配路径的文件，同时保持分区发现的行为，您可以使用通用数据源选项 pathGlobFilter。例如，以下代码读取输入目录中的所有 PNG 文件

spark.read.format("binaryFile").option("pathGlobFilter", "*.png").load("/path/to/data")

spark.read.format("binaryFile").option("pathGlobFilter", "*.png").load("/path/to/data")

spark.read().format("binaryFile").option("pathGlobFilter", "*.png").load("/path/to/data");

read.df("/path/to/data", source = "binaryFile", pathGlobFilter = "*.png")

二进制文件数据源不支持将 DataFrame 写回原始文件。