Apache Spark™ 文档

每个稳定版本的 Spark 的设置说明、编程指南和其他文档如下所示

• Spark 3.5.1
• Spark 3.5.0
• Spark 3.4.3
• Spark 3.4.2
• Spark 3.4.1
• Spark 3.4.0
• Spark 3.3.4
• Spark 3.3.3
• Spark 3.3.2
• Spark 3.3.1
• Spark 3.3.0
• Spark 3.2.4
• Spark 3.2.3
• Spark 3.2.2
• Spark 3.2.1
• Spark 3.2.0
• Spark 3.1.3
• Spark 3.1.2
• Spark 3.1.1
• Spark 3.0.3
• Spark 3.0.2
• Spark 3.0.1
• Spark 3.0.0
• Spark 2.4.8
• Spark 2.4.7
• Spark 2.4.6
• Spark 2.4.5
• Spark 2.4.4
• Spark 2.4.3
• Spark 2.4.2
• Spark 2.4.1
• Spark 2.4.0
• Spark 2.3.4
• Spark 2.3.3
• Spark 2.3.2
• Spark 2.3.1
• Spark 2.3.0
• Spark 2.2.3
• Spark 2.2.2
• Spark 2.2.1
• Spark 2.2.0
• Spark 2.1.3
• Spark 2.1.2
• Spark 2.1.1
• Spark 2.1.0
• Spark 2.0.2
• Spark 2.0.1
• Spark 2.0.0
• Spark 1.6.3
• Spark 1.6.2
• Spark 1.6.1
• Spark 1.6.0
• Spark 1.5.2
• Spark 1.5.1
• Spark 1.5.0
• Spark 1.4.1
• Spark 1.4.0
• Spark 1.3.1
• Spark 1.3.0
• Spark 1.2.1
• Spark 1.1.1
• Spark 1.0.2
• Spark 0.9.2
• Spark 0.8.1
• Spark 0.7.3
• Spark 0.6.2

预览版本的文档

• Spark 3.0.0 预览版 2
• Spark 3.0.0 预览版
• Spark 2.0.0 预览版

上面链接的文档涵盖了 Spark 入门，以及内置组件 MLlib、Spark Streaming 和 GraphX。

此外，此页面还列出了其他学习 Spark 的资源。

视频

请查看 Apache Spark YouTube 频道，观看 Spark 活动的视频。有单独的 播放列表 用于不同主题的视频。除了浏览播放列表外，您还可以找到下面视频的直接链接。

屏幕录制教程视频

• 屏幕录制 1：Spark 入门
• 屏幕录制 2：Spark 文档概述
• 屏幕录制 3：转换和缓存
• 屏幕录制 4：Scala 中的 Spark 独立作业

Spark 峰会视频

• 2014 年 6 月 30 日至 7 月 2 日在旧金山举行的 Spark 峰会 2014 的视频
  • 包含所有视频和幻灯片的完整议程链接
  • 培训视频和幻灯片
• 2013 年 12 月 2 日至 3 日在旧金山举行的 Spark 峰会 2013 的视频
  • 包含所有视频和幻灯片的完整议程链接
  • 所有主题演讲的 YouTube 播放列表
  • A 轨道（Spark 应用程序）的 YouTube 播放列表
  • B 轨道（Spark 部署、调度和性能、相关项目）的 YouTube 播放列表
  • 培训日（即峰会的第二天）的 YouTube 播放列表

聚会演讲视频

除了下面列出的视频外，您还可以查看 湾区聚会的所有幻灯片。

• Spark 1.0 及更高版本 (幻灯片) 由 Patrick Wendell 在 2014 年 4 月 23 日的圣何塞思科公司发表
• 使用 Catalyst 为 Spark 添加原生 SQL 支持 (幻灯片) 由 Michael Armbrust 在 2014 年 4 月 8 日的旧金山 Tagged 公司发表
• SparkR 和 GraphX (幻灯片：SparkR、GraphX) 由 Shivaram Venkataraman 和 Dan Crankshaw 在 2014 年 3 月 25 日的伯克利 SkyDeck 公司发表
• 使用 SIMR 进行简单部署和使用 TGF 进行高级 Shark 分析 (幻灯片) 由 Ali Ghodsi 在 2014 年 2 月 5 日的圣克拉拉华为公司发表
• 存储、幺半群和依赖注入 - Spark 的抽象 (幻灯片) 由 Ryan Weald 在 2014 年 1 月 17 日的旧金山 Sharethrough 公司发表
• 使用 MLbase 进行分布式机器学习 (幻灯片) 由 Evan Sparks 和 Ameet Talwalkar 在 2013 年 8 月 6 日的旧金山 Twitter 公司发表
• GraphX 预览：Spark 上的图分析 由 Reynold Xin 和 Joseph Gonzalez 在 2013 年 7 月 2 日的旧金山 Flurry 公司发表
• 深入了解 Spark Streaming (幻灯片) 由 Tathagata Das 在 2013 年 6 月 17 日的桑尼维尔 Plug and Play 公司发表
• Tachyon 和 Shark 更新 (幻灯片：Shark、Tachyon) 由 Ali Ghodsi、Haoyuan Li、Reynold Xin、Google Ventures 在 2013 年 5 月 9 日发表
• Spark 0.7：概述、pySpark 和 Streaming 由 Matei Zaharia、Josh Rosen、Tathagata Das 在 2013 年 2 月 21 日的 Conviva 公司发表
• Spark 内部机制介绍 (幻灯片) 由 Matei Zaharia 在 2012 年 12 月 18 日的桑尼维尔雅虎公司发表

培训材料

• Spark 峰会 2014 的培训材料和练习 可在线获取。这些包括演讲的视频和幻灯片，以及您可以在笔记本电脑上运行的练习。主题包括 Spark 核心、调整和调试、Spark SQL、Spark Streaming、GraphX 和 MLlib。
• Spark 峰会 2013 包括一个培训环节，幻灯片和视频可在 培训日议程 上获取。该环节还包括 练习，您可以在 Amazon EC2 上进行操作。
• 加州大学伯克利分校 AMPLab 定期举办关于 Spark 和相关项目的培训营。每个培训营的幻灯片、视频和基于 EC2 的练习都可在网上获取
  • AMP Camp 4 (Strata 圣克拉拉，2014 年 2 月) - 重点关注 BlinkDB、MLlib、GraphX、Tachyon
  • AMP Camp 3 (伯克利，加州，2013 年 8 月)
  • AMP Camp 2 (Strata 圣克拉拉，2013 年 2 月)
  • AMP Camp 1 (伯克利，加州，2012 年 8 月)

动手练习

• Spark 峰会 2014 的动手练习。这些练习让您可以在笔记本电脑上安装 Spark 并学习基本概念、Spark SQL、Spark Streaming、GraphX 和 MLlib。
• Spark 峰会 2013 的动手练习。这些练习让您启动一个小型的 EC2 集群，加载数据集，并使用 Spark、Shark、Spark Streaming 和 MLlib 对其进行查询。

外部教程、博客文章和演讲

• 使用 Spark 与 MongoDB - 由 Wellmo 的 Sampo Niskanen 撰写
• Spark 峰会 2013 - 包含 30 个关于 Spark 用例的演讲，以幻灯片和视频的形式提供
• 强大的大数据三剑客：Spark、Parquet 和 Avro - 由 Matt Massie 撰写的关于在 Spark 中使用 Parquet 的文章
• 使用 Cassandra、Spark 和 Shark 进行实时分析 - 由 Ooyala 的 Evan Chan 在 2013 年 Cassandra 峰会上发表的演讲
• 在 Amazon Elastic MapReduce 上运行 Spark 和 Shark - 由 Amazon Elastic MapReduce 团队成员 Parviz Deyhim 撰写的文章
• Spark，快速数据分析的替代方案 - 由 M. Tim Jones 撰写的 IBM Developer Works 文章

书籍

• 学习 Spark，由 Holden Karau、Andy Konwinski、Patrick Wendell 和 Matei Zaharia 撰写 (O'Reilly Media)
• Spark 实战，由 Marko Bonaci 和 Petar Zecevic 撰写 (Manning)
• 使用 Spark 进行高级分析，由 Juliet Hougland、Uri Laserson、Sean Owen、Sandy Ryza 和 Josh Wills 撰写 (O'Reilly Media)
• Spark GraphX 实战，由 Michael Malak 撰写 (Manning)
• 使用 Spark 进行快速数据处理，由 Krishna Sankar 和 Holden Karau 撰写 (Packt Publishing)
• Spark 机器学习，由 Nick Pentreath 撰写 (Packt Publishing)
• Spark 食谱，由 Rishi Yadav 撰写 (Packt Publishing)
• Apache Spark 图处理，由 Rindra Ramamonjison 撰写 (Packt Publishing)
• 精通 Apache Spark，由 Mike Frampton 撰写 (Packt Publishing)
• 使用 Spark 进行大数据分析：面向实践者的 Spark 大规模数据分析指南，由 Mohammed Guller 撰写 (Apress)
• 使用 Spark 进行大规模机器学习，由 Md. Rezaul Karim 和 Md. Mahedi Kaysar 撰写 (Packt Publishing)
• 使用 Spark 和 Hadoop 进行大数据分析，由 Venkat Ankam 撰写 (Packt Publishing)

示例

• 在 Spark 示例页面 中展示了 Scala、Java 和 Python 的基本 API。

研究论文

Spark 最初是作为加州大学伯克利分校的一个研究项目开发的，其设计的大部分内容都在论文中有所记录。 研究页面 列出了最初的动机和方向。