停止支持 Python 2 的计划

正如大家所知，Python 核心开发团队以及许多常用的 Python 包（如 Pandas 和 NumPy）将在 2020 年 1 月 1 日或之前停止对 Python 2 的支持。自 2015 年 Spark 1.4 版本发布以来，Apache Spark 一直同时支持 Python 2 和 Python 3。然而，维护 Python 2/3 兼容性带来了日益增长的负担，并且在本质上限制了 Spark 中对 Python 3 特性的使用。鉴于 Python 2 的生命周期结束 (EOL) 即将到来，我们也计划最终停止对 Python 2 的支持。目前的计划如下：

• 在 2019 年的下一个主要版本中，我们将弃用 Python 2 支持。如果 PySpark 用户使用 Python 2，将看到弃用警告。我们将发布 PySpark 用户迁移到 Python 3 的迁移指南。
• 在 2020 年 Python 2 EOL（2020 年 1 月 1 日）之后，我们将在未来某个版本（不包括补丁版本）中停止对 Python 2 的支持。如果 PySpark 用户使用 Python 2，将看到错误。
• 对于支持 Python 2 的版本，例如 Spark 2.4，其补丁版本将继续支持 Python 2。但是，在 Python 2 EOL 之后，我们可能不再接受针对 Python 2 的补丁。

Spark 新闻存档