算法

MLlib 包含许多算法和实用工具。

ML 算法包括

• 分类：逻辑回归、朴素贝叶斯等
• 回归：广义线性回归、生存回归等
• 决策树、随机森林和梯度提升树
• 推荐：交替最小二乘法 (ALS)
• 聚类：K-均值、高斯混合模型 (GMM) 等
• 主题模型：隐含狄利克雷分配 (LDA)
• 频繁项集、关联规则和序列模式挖掘

ML 工作流实用工具包括

• 特征转换：标准化、归一化、哈希等
• ML Pipeline 构建
• 模型评估和超参数调优
• ML 持久化：保存和加载模型及 Pipeline

其他实用工具包括

• 分布式线性代数：SVD、PCA 等
• 统计：摘要统计、假设检验等

有关使用示例，请参阅MLlib 指南。

社区

MLlib 是作为 Apache Spark 项目的一部分进行开发的。因此，它会随每个 Spark 版本进行测试和更新。

如果您对该库有疑问，请在Spark 邮件列表上提问。

MLlib 仍然是一个快速发展的项目，欢迎贡献。如果您想为 MLlib 提交算法，请阅读如何为 Spark 贡献并向我们发送补丁！

入门

MLlib 入门

• 下载 Spark。MLlib 作为模块包含在内。
• 阅读MLlib 指南，其中包含各种使用示例。
• 如果您想在分布式模式下运行，请了解如何将 Spark 部署到集群。您也可以在多核机器上本地运行，无需任何设置。