计划放弃对 Python 2 的支持

正如你们中的许多人已经知道的那样,Python 核心开发团队和许多使用的 Python 包(如 Pandas 和 NumPy)将在 2020/01/01 或之前放弃对 Python 2 的支持。自 2015 年 Spark 1.4 发布以来,Apache Spark 一直支持 Python 2 和 3。但是,维护 Python 2/3 兼容性是一个越来越重的负担,并且本质上限制了在 Spark 中使用 Python 3 功能。鉴于 Python 2 的生命周期 (EOL) 即将结束,我们计划最终也放弃对 Python 2 的支持。目前的计划如下:

  • 在 2019 年的下一个主要版本中,我们将弃用对 Python 2 的支持。如果使用 Python 2,PySpark 用户将看到弃用警告。我们将发布 PySpark 用户迁移到 Python 3 的迁移指南。
  • 在 2020 年 2020/01/01 Python 2 EOL 之后,我们将在未来的版本(不包括补丁版本)中放弃对 Python 2 的支持。如果使用 Python 2,PySpark 用户将看到错误。
  • 对于支持 Python 2 的版本,例如 Spark 2.4,它们的补丁版本将继续支持 Python 2。但是,在 Python 2 EOL 之后,我们可能不会接受特定于 Python 2 的补丁。


Spark 新闻存档