请注意,Spark 4 预构建时支持 Scala 2.13,并已正式放弃对 Scala 2.12 的支持。Spark 3 通常预构建时支持 Scala 2.12,而 Spark 3.2+ 则提供了额外的预构建版本以支持 Scala 2.13。
Spark 工件托管在 Maven Central。您可以使用以下坐标添加 Maven 依赖项
groupId: org.apache.spark
artifactId: spark-core_2.13
version: 4.0.0
PySpark 现已在 pypi 中可用。要安装,只需运行 pip install pyspark
。
Spark Docker 镜像可在 Dockerhub 上获取,由Apache 软件基金会和官方镜像账户提供。
请注意,这些镜像包含非 ASF 软件,并可能受不同许可条款的约束。请检查其Dockerfiles,以验证它们是否与您的部署兼容。
随着每个开发流有新的 Spark 版本发布,以前的版本将被归档,但它们仍然可以在Spark 版本归档中获取。
注意:Spark 的先前版本可能受到安全问题的影响。在决定使用您下载的版本之前,请查阅安全页面,了解可能影响该版本的已知问题列表。