用户指南# 欢迎来到 PySpark 用户指南!以下每个章节都包含代码驱动的示例,助您熟悉 PySpark。 第1章:DataFrames - 您的结构化数据视图 创建 DataFrame 查看 DataFrame DataFrame 操作 DataFrames 与表 将 DataFrame 保存到持久化存储 第2章:PySpark 数据类型概览 PySpark 中的基本数据类型 双精度浮点数、浮点数和十进制数的精度 PySpark 中的复杂数据类型 在 PySpark 中转换列类型 PySpark 中的半结构化数据处理 第3章:函数交汇点 - 使用 PySpark 进行数据操作 清理数据 转换数据 汇总数据 当 DataFrames 碰撞时:连接的艺术 第4章:错误消除 - PySpark 调试 Spark UI 使用 top 和 ps 进行监控 使用 PySpark 分析器 显示堆栈跟踪 IDE 调试 第5章:释放 UDF 和 UDTF 的力量 Python UDFs Python UDTFs 第6章:旧SQL,新技巧 - 在 PySpark 上运行 SQL 简介 使用 PySpark 运行 SQL PySpark 中的 SQL 与 DataFrame API SQL 和 DataFrame API 的可互换使用 第7章:加载与存储 - 数据加载、存储、文件格式 读取数据 写入数据 附加选项和配置