请注意,Spark 3 通常预先构建了 Scala 2.12,并且 Spark 3.2+ 提供了带有 Scala 2.13 的额外预构建发行版。
Spark 工件 托管在 Maven Central 中。 您可以使用以下坐标添加 Maven 依赖项
groupId: org.apache.spark
artifactId: spark-core_2.12
version: 3.5.5
PySpark 现在可在 pypi 中使用。 要安装,只需运行 pip install pyspark
。
Spark Docker 镜像可从 Dockerhub 的 Apache 软件基金会和 官方镜像帐户获得。
请注意,这些镜像包含非 ASF 软件,可能受不同的许可条款约束。 请查看它们的 Dockerfiles 以验证它们是否与您的部署兼容。
随着每个开发流程发布新的 Spark 版本,以前的版本将被存档,但仍然可以在Spark 发布存档中找到。
注意:以前发布的 Spark 版本可能受到安全问题的影响。 在决定使用之前,请查阅 安全 页面,查看可能影响您下载版本的已知问题列表。