昇腾卡容器内部署模型推理 入门教程(一)安装CANN驱动

要让pytorch模型在昇腾卡上的容器内执行，需要以下几个条件：

1. 安装npu驱动。
2. 容器内安装CANN驱动，包括toolkit包和kernels包。且两个包与npu驱动的版本要对应(如果不对应也是运行不成功的)。
3. 正确为容器挂载了设备，且正确设置环境变量。
4. 安装限定版本的pytorch，一般是1.8或1.11等。
5. 安装对应版本的torch_npu插件，又叫pytorch Adapter或PTA。

以上几个步骤只要有一环做错，最后的模型部署都无法完成。

要让模型在容器内跑起来，不必在容器外安装CANN驱动。但在容器内得安装CANN驱动也行。

本文会围绕第二点说明，如何选取正确版本的CANN驱动并安装。在安装好npu驱动后，还需要安装CANN-toolkit、CANN-kernels包，安装方式最好下载.run包并执行。CANN有三种系列，对外社区版，对外商业版，对内版。

对外社区和商业版的CANN包下载

从昇腾官网进入CANN链接，

来到CANN页面，如图选社区版或商用版。

点"社区版"会跳到下图页面。社区版的版号一般带有alpha1、beta1之类的字样。

点"商业版"会跳到下图页面。商业版的版号可以是7.0.0、7.0.RC1之类的。

你要找的安装包需要：

1. 符合操作系统，比如欧拉对应aarch64
2. 最好是run包。虽然理论上，rpm或deb在各自的系统上都能用，但笔者只跑通过run包。
3. 主要找toolkit和kernels包，不需要nnae等包。

符合条件的例子比如Ascend-cann-toolkit_7.0.0_linux-aarch64.run、Ascend-cann-kernels-910b_7.0.0_linux.run。把它们下载后就可以安装到镜像了。

对内版的CANN包下载

对内版的CANN包在CMC网站搜索。该网站外部不可访问，只能内部访问。

安装CANN的run包

安装CANN包的指令并不复杂，如果是run包的话执行它即可，但要附带参数。有两份教程可供参考，读者可以选择与自己CANN包对应的版本:

1. 6.3.RC1的CANN安装指令
2. 7.0.RC1的CANN安装指令

参考命令如下：

chmod +x Ascend-cann-toolkit_7.0.RC1_linux-aarch64.run
./Ascend-cann-toolkit_7.0.RC1_linux-aarch64.run --install --install-for-all --quiet