Spark 2.4.4 版本发布

Spark 2.4.4 是一个维护版本，包含稳定性修复。此版本基于 Spark 的 branch-2.4 维护分支。 我们强烈建议所有 2.4 用户升级到此稳定版本。

显著变化

  • [SPARK-26038]: 修复 Decimal 的 toScalaBigInt/toJavaBigInteger，使其适用于不适合 long 的小数
  • [SPARK-26812]: 修复 PushProjectionThroughUnion 的可空性问题
  • [SPARK-27798]: 修复 from_avro 在本地模式下不修改其他行中的变量的问题
  • [SPARK-27907]: Spark 2.4.3 在 HiveUDAF 遇到 0 行时意外抛出 NPE。 修复后返回 NULL，与其他版本一样。
  • [SPARK-27992]: 修复 PySpark 套接字服务器以与 JVM 连接线程的 future 同步
  • [SPARK-28015]: 检查 stringToDate() 是否完全消耗 yyyy 和 yyyy-[m]m 格式的整个输入
  • [SPARK-28308]: CalendarInterval 亚秒部分应在解析前填充
  • [SPARK-28489]: KafkaOffsetRangeCalculator.getRanges 可能会删除偏移量
  • [SPARK-28699]: 缓存不确定的 RDD 可能会在阶段重新运行时导致不正确的结果
  • [SPARK-28780]: Spark 2.2 意外引入了方法 LinearSVCModel.setWeightCol。 此方法也无法正常工作。 它在 2.4.4 中已弃用，将在 3.0.0 中删除。

您可以查阅 JIRA 以了解详细更改。

我们要感谢所有社区成员为本次发布贡献补丁。


Spark 新闻存档

最新消息

存档