Spark 赢得 CloudSort 基准测试,成为最高效的引擎

我们很荣幸地宣布 Apache Spark 赢得了 2016 年 CloudSort 基准测试(包括 Daytona 和 Indy 类别)。由南京大学、阿里巴巴集团和 Databricks 公司组成的联合团队使用基于 Spark 构建的分布式排序程序 NADSort 参加了比赛,并以最具成本效益的方式对 100TB 数据进行排序,创造了新的世界纪录。

他们仅使用价值 144 美元的公共云资源对 100TB 数据进行了排序,打破了加州大学圣迭戈分校此前耗资 451 美元的纪录。

这延续了 Spark 在 2014 年赢得 GraySort 纪录的辉煌,并进一步验证了 Spark 作为最高效数据处理引擎的地位。

欲了解更多信息,请参阅由 Spark 提交者 Reynold Xin 撰写的 Databricks 博客文章(英文),或南京大学的 新闻稿(中文)


Spark 新闻存档

最新新闻

存档