二进制文件数据源

自 Spark 3.0 起，Spark 支持二进制文件数据源，该数据源读取二进制文件并将每个文件转换为包含文件原始内容和元数据的单个记录。它生成一个 DataFrame，其中包含以下列以及可能的 partition 列

要读取整个二进制文件，您需要将数据源 format 指定为 binaryFile。要加载与给定 glob 模式匹配的文件，同时保持分区发现的行为，您可以使用通用数据源选项 pathGlobFilter。例如，以下代码读取输入目录中的所有 PNG 文件

spark.read.format("binaryFile").option("pathGlobFilter", "*.png").load("/path/to/data")

spark.read.format("binaryFile").option("pathGlobFilter", "*.png").load("/path/to/data")

spark.read().format("binaryFile").option("pathGlobFilter", "*.png").load("/path/to/data");

read.df("/path/to/data", source = "binaryFile", pathGlobFilter = "*.png")

二进制文件数据源不支持将 DataFrame 写回原始文件。