Spark 2.4.7 版本发布

Spark 2.4.7 是一个维护版本，包含稳定性、正确性和安全修复。此版本基于 Spark 的 branch-2.4 维护分支。我们强烈建议所有 2.4 用户升级到此稳定版本。

[SPARK-28818] - 当存在 null 值时，FrequentItems 将不正确的 schema 应用于结果 dataframe

[SPARK-31511] - 使 BytesToBytesMap iterator() 线程安全

[SPARK-31703] - SPARK-26985 所做的更改会导致在 BigEndian 架构（AIX + LinuxPPC64）中正确读取 parquet 文件失败

[SPARK-31854] - 开启和关闭 wholestage codegen 时，查询执行结果不同

[SPARK-31903] - 启用 Arrow 的 toPandas 不会在 Query UI 中显示指标。

[SPARK-31923] - 当某些内部累加器使用意外类型时，无法生成事件日志

[SPARK-31935] - Hadoop 文件系统配置应在数据源选项中生效

[SPARK-31941] - 处理 SparkUI 中 getSparkUser 方法的异常

[SPARK-31967] - 加载作业 UI 页面需要 40 秒

[SPARK-31968] - 当用户提供重复列时，write.partitionBy() 会创建重复的子目录

[SPARK-31980] - 如果范围的开始日期和结束日期相同，则 Spark sequence() 失败

[SPARK-31997] - 应在 SingleSessionSuite 完成后删除 test_udtf 表

[SPARK-32000] - 修复 barrier-mode 中部分启动任务的不稳定测试用例。

[SPARK-32003] - 如果在 executor 丢失后发生 fetch 失败，则不会取消注册丢失的 executor 的 Shuffle 文件

[SPARK-32024] - HistoryServerDiskManager 中的磁盘使用跟踪器变为负数

[SPARK-32028] - 历史记录摘要页面中的应用程序 id 链接指向错误的应用程序尝试

[SPARK-32034] - 移植 HIVE-14817: 在关闭时正确关闭 SessionManager timeoutChecker 线程

[SPARK-32044] - [SS] 2.4 Kafka 连续处理打印误导性的初始偏移量日志

[SPARK-32098] - 在使用 Arrow 的 createDataFrame 中，使用 iloc 进行位置切片而不是直接切片

[SPARK-32115] - 溢出时 SUBSTRING 的结果不正确

[SPARK-32131] - 修复 UNION/INTERSECT/EXCEPT/MINUS 操作中的 AnalysisException 消息

[SPARK-32167] - GetArrayStructFields 的可空性不正确

[SPARK-32214] - 为“other”类型在 makeFromJava 中生成的类型转换函数使用错误的变量。

[SPARK-32238] - 使用 Utils.getSimpleName 以避免在 ScalaUDF 中遇到 Malformed 类名

[SPARK-32280] - 当查询包含多个 JOIN 时抛出 AnalysisException

[SPARK-32300] - 没有分区的 toPandas 应该可以工作

[SPARK-32344] - 在不同的聚合中，不可求值的 expr 设置为 FIRST/LAST ignoreNullsExpr

[SPARK-32364] - 对 DataFrameReader/Writer 选项使用 CaseInsensitiveMap

[SPARK-32372] - 重复冲突引用后，“缺少已解析的属性 XXX”

[SPARK-32377] - CaseInsensitiveMap 在添加时应该是确定性的

[SPARK-32609] - DataSourceV2 的不正确交换重用

[SPARK-32672] - 某些缓存的压缩布尔列中的数据损坏

[SPARK-32693] - 比较具有相同 schema 但可空属性不同的两个数据帧

[SPARK-32771] - Javadoc / Scaladoc 中 expressions.Aggregator 的示例是错误的

[SPARK-32810] - CSV/JSON 数据源在推断 schema 时应避免 globbing 路径

[SPARK-32812] - Python 的运行测试脚本在某些环境中失败

您可以查阅 JIRA 以获取详细更改。

我们要感谢所有社区成员为此版本的补丁做出贡献。