请注意,Spark 4 预构建时默认使用 Scala 2.13,且已正式停止对 Scala 2.12 的支持。Spark 3 预构建时通常使用 Scala 2.12,而 Spark 3.2+ 则额外提供了基于 Scala 2.13 的预构建版本。
Spark 制品托管在 Maven Central 中。您可以通过以下坐标添加 Maven 依赖:
groupId: org.apache.spark
artifactId: spark-core_2.13
version: 4.1.0
PySpark 现已发布在 pypi 上。如需安装,只需运行 pip install pyspark。
Spark Docker 镜像可在 Dockerhub 的Apache 软件基金会 (The Apache Software Foundation) 和 官方镜像 (Official Images) 账户下获取。
请注意,这些镜像包含非 ASF 软件,可能受不同的许可条款约束。请查看它们的 Dockerfiles,以确认它们是否符合您的部署要求。
随着每个开发流中新 Spark 版本的发布,旧版本将被归档,但它们仍然可以在 Spark 发布归档中获取。
注意:旧版本的 Spark 可能受到安全漏洞的影响。在决定使用之前,请查阅 安全 (Security) 页面,获取可能影响您所下载版本的已知问题列表。