Spark 1.4.1 版本发布

Spark 1.4.1 是一个包含稳定性修复的维护版本。此版本基于 Spark 的 branch-1.4 维护分支。我们建议所有 1.4.0 用户升级到此稳定版本。85 位开发者为此次发布做出了贡献。

要下载 Spark 1.4.1，请访问下载页面。

修复

Spark 1.4.1 包含 Spark 的 DataFrame 和数据源支持中的多项错误修复，以及其他组件中的各种修复。下面重点介绍了一些更重要的修复。您可以访问 Spark 问题追踪器，查看完整的修复列表。

数据源和 DataFrames

  • SPARK-8804: 如果 UTF8String 中包含非 ASCII 字符，其顺序与 String 不一致
  • SPARK-8406: 写入 Parquet 文件时存在竞态条件
  • SPARK-8329: DataSource 选项解析器不再接受 '_'
  • SPARK-8368: map 的闭包中出现 ClassNotFoundException
  • SPARK-8470: ScalaReflection 在用户类上缺少 RequirementError
  • SPARK-8358: DataFrame 使用别名和 * 进行 explode 操作失败

MLLib

  • SPARK-8151: 管道组件应正确实现复制
  • SPARK-8468: RegressionEvaluator 中的某些指标应为负号
  • SPARK-8736: GBTRegressionModel 不应进行预测阈值化
  • SPARK-8563: IndexedRowMatrix.computeSVD() 产生的 U 的列数不正确

PySpark

SparkR

  • SPARK-8506: 初始化 SparkR 时支持 Spark 包
  • SPARK-8085: 从数据源读取时支持用户定义模式

贡献者

以下开发者为此次发布做出了贡献

  • Adam Roberts – Core 和测试中的错误修复
  • Ai He – PySpark 中的改进
  • Alok Singh – Core 中的错误修复
  • Amey Chaugule – SQL 中的改进
  • Andrew Or – Core、测试、Shuffle、spark submit 和 SQL 中的错误修复；Web UI 和测试中的改进
  • Animesh Baranawal – SQL 中的改进
  • Ben Fradet – Streaming 和 Web UI 中的错误修复
  • Brian Lockwood – Core 中的文档
  • Burak Yavuz – SQL 中的测试；spark submit 中的改进；spark submit 和 SQL 中的错误修复；SQL 中的改进
  • Carson Wang – Core 和 Web UI 中的错误修复
  • Cheng Hao – SQL 中的错误修复
  • Cheng Lian – Core 中的文档；SQL 中的错误修复
  • Cheolsoo Park – SQL 中的改进
  • Chris Freeman – R 中的错误修复
  • Christian Kadner – SQL 中的错误修复
  • Cody Koeninger – Streaming 中的改进
  • DB Tsai – MLlib 中的新功能
  • Daniel Darabos – EC2 中的错误修复
  • Daoyuan Wang – SQL 中的错误修复
  • Davies Liu – PySpark 中的错误修复；SQL 和 PySpark 中的改进
  • Devaraj K – YARN 中的错误修复
  • Dibyendu Bhattacharya – Streaming 和 Web UI 中的错误修复
  • Favio Vazquez – Core 和 MLlib 中的文档
  • Hari Shreedharan – Streaming 和 Core 中的错误修复
  • Holden Karau – Core 中的文档；sparkr、Shuffle 和 MLlib 中的错误修复
  • Hossein Falaki – sparkr 中的改进和错误修复
  • Huang Zhaowei – Streaming 和 YARN 中的错误修复
  • Jean Lyn – SQL 中的错误修复
  • Joseph K. Bradley – MLlib 中的改进；MLlib 中的错误修复；Core 和 MLlib 中的改进
  • Josh Rosen – SQL 中的新功能；调度器和 SQL 中的错误修复；Core 中的改进
  • Kevin Conor – PySpark 中的错误修复
  • Kousuke Saruta – Core 中的文档
  • Lars Francke – Core 中的文档
  • Lee – MLlib 中的错误修复
  • Liang-Chi Hsieh – SQL 中的改进；MLlib 和 SQL 中的错误修复
  • Lianhui Wang – Shuffle 中的错误修复
  • Luca Martinetti – Core 中的文档
  • Manoj Kumar – SQL 中的改进；MLlib 和 PySpark 中的错误修复
  • Marcelo Vanzin – Core 中的改进；Core 和 Web UI 中的错误修复
  • Mark Smith – EC2 中的错误修复
  • Michael Armbrust – SQL 中的错误修复
  • Mike Dusenberry – PySpark、Core、SQL 和 Streaming 中的改进
  • Moussa Taifi – Core 中的文档
  • Nathan Howell – SQL 中的错误修复
  • Navis Ryu – SQL 中的错误修复
  • Neelesh Srinivas Salian – Core 和 YARN 中的文档
  • Oleksiy Dyagilev – Core 和 MLlib 中的错误修复
  • Paavo Parkkinen – Streaming 和 MLlib 中的错误修复
  • Patrick Wendell – Core 中的改进
  • Punya Biswal – Core 中的错误修复
  • Qian Huang – sparkr 中的新功能
  • Radek Ostrowski – Core 中的文档
  • Ram Sriharsha – MLlib 和 PySpark 中的新功能
  • Rekha Joshi – Web UI 中的改进
  • Reynold Xin – SQL 中的错误修复和改进
  • Rosstin Murphy – Core 中的文档
  • Ryan Williams – Core 中的错误修复
  • Saisai Shao – Core 和 Streaming 中的错误修复
  • Scott Taylor – PySpark 中的测试
  • Sean Owen – Core 中的改进和错误修复
  • Sephiroth Lin – YARN 中的改进
  • Shiming Fei – Core 中的错误修复
  • Shivaram Venkataraman – Core、EC2 和 sparkr 中的改进；sparkr 和 EC2 中的错误修复
  • Shixiong Zhu – Streaming、测试和 Core 中的测试；Streaming 和 Core 中的改进；Core、测试、PySpark 和 Streaming 中的错误修复
  • Simon Hafner – EC2 中的错误修复
  • Sun Rui – Core 和 sparkr 中的错误修复
  • Tao Li – YARN 中的错误修复
  • Tathagata Das – Core 和 Streaming 中的改进；Core 中的错误修复
  • Ted Blackman – PySpark 中的错误修复
  • Ted Yu – SQL 中的错误修复
  • Tim Ellison – Core 中的错误修复
  • Timothy Chen – Web UI 和 Mesos 中的错误修复
  • Tingjun Xu – Core 中的改进
  • Tom Graves – Core 中的错误修复
  • Vinod K C – SQL 中的改进和错误修复
  • Vyacheslav Baranov – Core 中的错误修复
  • Wang Tao – Core 和 YARN 中的错误修复
  • Wenchen Fan – SQL 中的改进
  • Xiangrui Meng – MLlib 中的错误修复
  • Yanbo Liang – Core、MLlib 和 PySpark 中的改进
  • Yin Huai – Core、测试和 SQL 中的改进；测试和 SQL 中的错误修复；测试和 SQL 中的改进
  • Yu ISHIKAWA – PySpark 中的改进；sparkr 中的改进
  • Yuhao Yang – MLlib 中的错误修复
  • Yuming Wang – Web UI 中的 Github 集成
  • Yuri Saito – PySpark 中的错误修复

感谢所有贡献者！


Spark 新闻存档

最新新闻

存档