Spark 2.4.4 版本发布

Spark 2.4.4 是一个包含稳定性修复的维护版本。此版本基于 Spark 的 branch-2.4 维护分支。我们强烈建议所有 2.4 版本用户升级到此稳定版本。

主要变更

• [SPARK-26038]：修复 Decimal toScalaBigInt/toJavaBigInteger 对于不适合 long 型的十进制数的问题
• [SPARK-26812]：修复 PushProjectionThroughUnion 空值问题
• [SPARK-27798]：修复 from_avro 在本地模式下不修改其他行变量的问题
• [SPARK-27907]：Spark 2.4.3 在 HiveUDAF 遇到 0 行时意外抛出 NPE。已修复为像其他所有版本一样返回 NULL。
• [SPARK-27992]：修复 PySpark socket 服务器与 JVM 连接线程 future 同步的问题
• [SPARK-28015]：检查 stringToDate() 是否完全消耗 yyyy 和 yyyy-[m]m 格式的输入
• [SPARK-28308]：CalendarInterval 的亚秒部分在解析前应进行填充
• [SPARK-28489]：KafkaOffsetRangeCalculator.getRanges 可能会丢失偏移量
• [SPARK-28699]：缓存不确定的 RDD 可能会导致阶段重跑时结果不正确
• [SPARK-28780]：Spark 2.2 意外引入了 LinearSVCModel.setWeightCol 方法。该方法也存在错误。它在 2.4.4 版本中已弃用，并将在 3.0.0 版本中移除。

您可以查阅 JIRA 以获取 详细变更。

我们要感谢所有为本次发布贡献补丁的社区成员。

Spark 新闻存档