Spark 4.0 预览版发布

为了让社区能够大规模测试即将发布的 Spark 4.0 版本,Apache Spark 社区发布了 Spark 4.0.0 preview2 版本。 这个预览版在 API 或功能方面都不是一个稳定的版本,但旨在让社区提前访问将成为 Spark 4.0 的代码。 如果您想测试该版本,请下载它,并使用邮件列表JIRA发送反馈。 文档可在链接中找到。

Spark 4.0 中添加了许多令人兴奋的新功能,包括默认的 ANSI 模式、Python 数据源、多态 Python UDTF、字符串排序支持、新的 VARIANT 数据类型、流式状态存储数据源、结构化日志记录、Java 21 支持、默认 Java 17 等等。

我们要感谢我们的贡献者和用户对本次发布的贡献和早期反馈。 没有你们,这次发布是不可能实现的。


Spark 新闻存档