Spark 2.4.6 版本发布

Spark 2.4.6 是一个维护版本，包含稳定性、正确性和安全修复。此版本基于 Spark 的 branch-2.4 维护分支。我们强烈建议所有 2.4 用户升级到此稳定版本。

显著变更

• [SPARK-29419]: Seq.toDS / spark.createDataset(Seq) 不是线程安全的
• [SPARK-31519]: having 聚合表达式中的类型转换返回错误结果
• [SPARK-26293]: 子查询中包含 python udf 时抛出类型转换异常
• [SPARK-30826]: 使用 parquet 外部表时 LIKE 返回错误结果
• [SPARK-30857]: epoch 之前的时间戳截断为小时和天时出错
• [SPARK-31256]: Dropna 不适用于结构体列
• [SPARK-31312]: 转换 Hive 简单 UDF（使用 JAR）表达式可能在后续评估中导致 CNFE
• [SPARK-31420]: 作业详情页面时间轴无限重绘
• [SPARK-31485]: 如果只启动了部分任务，屏障阶段可能会挂起
• [SPARK-31500]: BinaryType 的 collect_set() 返回重复元素
• [SPARK-31503]: 修复 TRIM 函数的 SQL 字符串
• [SPARK-31663]: 带有 having 子句的 grouping sets 返回错误结果
• [SPARK-26908]: 修复 toMilis
• [SPARK-31563]: UTF8String 集合的 Inset.sql 失败

依赖变更

虽然这是一个维护版本，但我们在此版本中仍然升级了一些依赖项，它们是

• netty-all 升级到 4.1.47.Final ([CVE-2019-20445])
• Janino 升级到 3.0.16 (SQL 生成代码)
• aws-java-sdk-sts 升级到 1.11.655（Kinesis 客户端升级所需）
• snappy 1.1.7.5（稳定性改进和 ppc64le 性能）

已知问题

• [SPARK-31170]: Spark Cli 不遵循 hive-site.xml 和 spark.sql.warehouse.dir
• [SPARK-26021]: -0.0 和 0.0 未一致处理，与 Hive 不匹配
• [SPARK-26154]: 流-流连接 - 左外连接给出不一致的输出
• [SPARK-28344]: 如果检测到歧义的自连接，则查询失败

您可以查阅 JIRA 以获取详细变更。

我们在此感谢所有为本次发布贡献补丁的社区成员。

Spark 新闻存档