MLlib 线性代数加速指南

简介

本指南提供启用 Spark MLlib 加速线性代数处理所需的信息。

Spark MLlib 将向量和矩阵定义为机器学习算法的基本数据类型。在此基础上，BLAS 和 LAPACK 操作由 dev.ludovic.netlib 实现和支持（算法也可能调用 Breeze）。dev.ludovic.netlib 可以使用优化的原生线性代数库（以下简称“原生库”或“BLAS 库”）来加快数值处理速度。Intel MKL 和 OpenBLAS 是两个流行的库。

官方发布的 Spark 二进制文件不包含这些原生库。

以下部分介绍如何安装原生库、正确配置它们，以及如何将 dev.ludovic.netlib 指向这些原生库。

安装原生线性代数库

Intel MKL 和 OpenBLAS 是两个流行的原生线性代数库。您可以根据自己的喜好选择其中之一。我们提供如下基本说明。

Intel MKL

• 下载并安装 Intel MKL。安装应在集群的所有节点上完成。我们假设安装位置为 $MKLROOT（例如 /opt/intel/mkl）。
• 在系统库搜索路径中创建指向 libmkl_rt.so 的软链接，并使用特定名称。例如，确保 /usr/local/lib 在系统库搜索路径中，并运行以下命令

  $ ln -sf $MKLROOT/lib/intel64/libmkl_rt.so /usr/local/lib/libblas.so.3
  $ ln -sf $MKLROOT/lib/intel64/libmkl_rt.so /usr/local/lib/liblapack.so.3
  

OpenBLAS

安装应在集群的所有节点上完成。大多数发行版都提供 OpenBLAS 的通用版本。您可以使用发行版包管理器（如 apt 或 yum）安装它。

对于 Debian / Ubuntu

sudo apt-get install libopenblas-base
sudo update-alternatives --config libblas.so.3

对于 CentOS / RHEL

sudo yum install openblas

检查是否为 MLlib 启用了原生库

要验证原生库是否已正确加载，请启动 spark-shell 并运行以下代码

scala> import dev.ludovic.netlib.blas.NativeBLAS
scala> NativeBLAS.getInstance()

如果它们已正确加载，则应打印 dev.ludovic.netlib.blas.NativeBLAS = dev.ludovic.netlib.blas.JNIBLAS@...。否则，应打印警告

WARN InstanceBuilder: Failed to load implementation from:dev.ludovic.netlib.blas.JNIBLAS
...
java.lang.RuntimeException: Unable to load native implementation
  at dev.ludovic.netlib.blas.InstanceBuilder.nativeBlas(InstanceBuilder.java:59)
  at dev.ludovic.netlib.blas.NativeBLAS.getInstance(NativeBLAS.java:31)
  ...

您还可以将 dev.ludovic.netlib 指向特定的库名称和路径。例如，-Ddev.ludovic.netlib.blas.nativeLib=libmkl_rt.so 或 -Ddev.ludovic.netlib.blas.nativeLibPath=$MKLROOT/lib/intel64/libmkl_rt.so 用于 Intel MKL。LAPACK 和 ARPACK 也有类似的参数：-Ddev.ludovic.netlib.lapack.nativeLib=...、-Ddev.ludovic.netlib.lapack.nativeLibPath=...、-Ddev.ludovic.netlib.arpack.nativeLib=... 和 -Ddev.ludovic.netlib.arpack.nativeLibPath=...。

如果未在系统中正确配置原生库，则将使用 Java 实现 (javaBLAS) 作为备用选项。

Spark 配置

Intel MKL 或 OpenBLAS 中多线程的默认行为可能与 Spark 的执行模型不匹配¹。

因此，将这些原生库配置为对操作使用单个线程实际上可能会提高性能（请参阅 SPARK-21305）。通常最佳做法是将其与 spark.task.cpus 的数量相匹配，默认情况下为 1，通常保持为 1。

您可以使用 config/spark-env.sh 中的选项来设置 Intel MKL 或 OpenBLAS 的线程数

• 对于 Intel MKL

  MKL_NUM_THREADS=1
  

• 对于 OpenBLAS

  OPENBLAS_NUM_THREADS=1