算法

MLlib 包含许多算法和实用程序。

ML 算法包括

• 分类：logistic 回归、朴素贝叶斯等
• 回归：广义线性回归、生存回归等
• 决策树、随机森林和梯度提升树
• 推荐：交替最小二乘法 (ALS)
• 聚类：K-means、高斯混合模型 (GMM) 等
• 主题建模：潜在狄利克雷分配 (LDA)
• 频繁项集、关联规则和序列模式挖掘

ML 工作流实用程序包括

• 特征转换：标准化、归一化、哈希等
• ML Pipeline 构建
• 模型评估和超参数调整
• ML 持久性：保存和加载模型和 Pipeline

其他实用程序包括

• 分布式线性代数：SVD、PCA 等
• 统计：汇总统计、假设检验等

有关使用示例，请参阅 MLlib 指南。

社区

MLlib 是作为 Apache Spark 项目的一部分开发的。 因此，每次 Spark 发布时都会对其进行测试和更新。

如果您对该库有疑问，请在 Spark 邮件列表中提问。

MLlib 仍然是一个快速增长的项目，欢迎大家贡献。 如果您想向 MLlib 提交算法，请阅读 如何为 Spark 做出贡献 并向我们发送补丁！

入门

要开始使用 MLlib

• 下载 Spark。 MLlib 作为模块包含在内。
• 阅读 MLlib 指南，其中包括各种使用示例。
• 如果您想在分布式模式下运行，请了解如何将 Spark 部署在集群上。 您也可以在无需任何设置的多核计算机上本地运行。