Spark 1.4.1 版本发布

Spark 1.4.1 是一个维护版本，包含稳定性修复。 此版本基于 Spark 的 branch-1.4 维护分支。 我们建议所有 1.4.0 用户升级到此稳定版本。 85 位开发人员为该版本做出了贡献。

要下载 Spark 1.4.1，请访问下载页面。

修复

Spark 1.4.1 包含 Spark 的 DataFrame 和数据源支持中的多项错误修复，以及其他组件中的各种修复。 下面重点介绍了一些更重要的修复。 您可以访问Spark 问题跟踪器以获取完整的修复列表。

数据源和 DataFrames

  • SPARK-8804: 如果 UTF8String 中有任何非 ASCII 字符，则其顺序与 String 不一致
  • SPARK-8406: 写入 Parquet 文件时的竞争条件
  • SPARK-8329: DataSource 选项解析器不再接受“_”
  • SPARK-8368: map 的闭包中出现 ClassNotFoundException
  • SPARK-8470: 用户类上 ScalaReflection 的 MissingRequirementError
  • SPARK-8358: 使用别名和 * 的 DataFrame explode 失败

MLLib

  • SPARK-8151: Pipeline 组件应正确实现 copy
  • SPARK-8468: RegressionEvaluator 中的某些指标应具有负号
  • SPARK-8736: GBTRegressionModel 不应阈值预测
  • SPARK-8563: IndexedRowMatrix.computeSVD() 产生具有错误 numCols 的 U

PySpark

SparkR

  • SPARK-8506: 初始化 SparkR 时支持 Spark 包
  • SPARK-8085: 从数据源读取时支持用户定义的架构

贡献者

以下开发人员为该版本做出了贡献

  • Adam Roberts – 核心和测试中的错误修复
  • Ai He – PySpark 中的改进
  • Alok Singh – Core 中的错误修复
  • Amey Chaugule – SQL 中的改进
  • Andrew Or – Core、tests、Shuffle、spark submit 和 SQL 中的错误修复； Web UI 和测试中的改进
  • Animesh Baranawal – SQL 中的改进
  • Ben Fradet – Streaming 和 Web UI 中的错误修复
  • Brian Lockwood – Core 中的文档
  • Burak Yavuz – SQL 中的测试； spark submit 中的改进； spark submit 和 SQL 中的错误修复； SQL 中的改进
  • Carson Wang – Core 和 Web UI 中的错误修复
  • Cheng Hao – SQL 中的错误修复
  • Cheng Lian – Core 中的文档； SQL 中的错误修复
  • Cheolsoo Park – SQL 中的改进
  • Chris Freeman – r 中的错误修复
  • Christian Kadner – SQL 中的错误修复
  • Cody Koeninger – Streaming 中的改进
  • DB Tsai – MLlib 中的新功能
  • Daniel Darabos – EC2 中的错误修复
  • Daoyuan Wang – SQL 中的错误修复
  • Davies Liu – PySpark 中的错误修复； SQL 和 PySpark 中的改进
  • Devaraj K – YARN 中的错误修复
  • Dibyendu Bhattacharya – Streaming 和 Web UI 中的错误修复
  • Favio Vazquez – Core 和 MLlib 中的文档
  • Hari Shreedharan – Streaming 和 Core 中的错误修复
  • Holden Karau – Core 中的文档； sparkr、Shuffle 和 MLlib 中的错误修复
  • Hossein Falaki – sparkr 中的改进和错误修复
  • Huang Zhaowei – Streaming 和 YARN 中的错误修复
  • Jean Lyn – SQL 中的错误修复
  • Joseph K. Bradley – MLlib 中的改进； MLlib 中的错误修复； Core 和 MLlib 中的改进
  • Josh Rosen – SQL 中的新功能； scheduler 和 SQL 中的错误修复； Core 中的改进
  • Kevin Conor – PySpark 中的错误修复
  • Kousuke Saruta – Core 中的文档
  • Lars Francke – Core 中的文档
  • Lee – MLlib 中的错误修复
  • Liang-Chi Hsieh – SQL 中的改进； MLlib 和 SQL 中的错误修复
  • Lianhui Wang – Shuffle 中的错误修复
  • Luca Martinetti – Core 中的文档
  • Manoj Kumar – SQL 中的改进； MLlib 和 PySpark 中的错误修复
  • Marcelo Vanzin – Core 中的改进； Core 和 Web UI 中的错误修复
  • Mark Smith – EC2 中的错误修复
  • Michael Armbrust – SQL 中的错误修复
  • Mike Dusenberry – PySpark、Core、SQL 和 Streaming 中的改进
  • Moussa Taifi – Core 中的文档
  • Nathan Howell – SQL 中的错误修复
  • Navis Ryu – SQL 中的错误修复
  • Neelesh Srinivas Salian – Core 和 YARN 中的文档
  • Oleksiy Dyagilev – Core 和 MLlib 中的错误修复
  • Paavo Parkkinen – Streaming 和 MLlib 中的错误修复
  • Patrick Wendell – Core 中的改进
  • Punya Biswal – Core 中的错误修复
  • Qian Huang – sparkr 中的新功能
  • Radek Ostrowski – Core 中的文档
  • Ram Sriharsha – MLlib 和 PySpark 中的新功能
  • Rekha Joshi – Web UI 中的改进
  • Reynold Xin – SQL 中的错误修复和改进
  • Rosstin Murphy – Core 中的文档
  • Ryan Williams – Core 中的错误修复
  • Saisai Shao – Core 和 Streaming 中的错误修复
  • Scott Taylor – PySpark 中的测试
  • Sean Owen – Core 中的改进和错误修复
  • Sephiroth Lin – YARN 中的改进
  • Shiming Fei – Core 中的错误修复
  • Shivaram Venkataraman – Core、EC2 和 sparkr 中的改进； sparkr 和 EC2 中的错误修复
  • Shixiong Zhu – Streaming、tests 和 Core 中的测试； Streaming 和 Core 中的改进； Core、tests、PySpark 和 Streaming 中的错误修复
  • Simon Hafner – EC2 中的错误修复
  • Sun Rui – Core 和 sparkr 中的错误修复
  • Tao Li – YARN 中的错误修复
  • Tathagata Das – Core 和 Streaming 中的改进； Core 中的错误修复
  • Ted Blackman – PySpark 中的错误修复
  • Ted Yu – SQL 中的错误修复
  • Tim Ellison – Core 中的错误修复
  • Timothy Chen – Web UI 和 Mesos 中的错误修复
  • Tingjun Xu – Core 中的改进
  • Tom Graves – Core 中的错误修复
  • Vinod K C – SQL 中的改进和错误修复
  • Vyacheslav Baranov – Core 中的错误修复
  • Wang Tao – Core 和 YARN 中的错误修复
  • Wenchen Fan – SQL 中的改进
  • Xiangrui Meng – MLlib 中的错误修复
  • Yanbo Liang – Core、MLlib 和 PySpark 中的改进
  • Yin Huai – Core、tests 和 SQL 中的改进； tests 和 SQL 中的错误修复; tests 和 SQL 中的改进
  • Yu ISHIKAWA – PySpark 中的改进; sparkr 中的改进
  • Yuhao Yang – MLlib 中的错误修复
  • Yuming Wang – Web UI 中的 Github 集成
  • Yuri Saito – PySpark 中的错误修复

感谢所有贡献者！


Spark 新闻存档

最新新闻

存档