PyTorch GPU利用率为0%（很低）

一、确保Pytorch与TorchVision是CUDA(GPU)版本
参考链接：【Xiang哥避坑指南】YOLOV5只在CPU跑不在GPU跑的问题。
在Python终端下操作：
1、Pytorch

import torch
print(torch.__version__) 
#上方的_是两个 杠杠

2、TorchVision

import torchvision
print(torchvision.__version__) 
#上方的_是两个 杠杠

输出的结果是+cu就是CUDA(GPU)
输出的结果是+cpu就是CPU

二、确保Pytorch与TorchVision以及CUDA ToolKit的版本一致
在Python终端下操作

import torch
print(torch.cuda.is_available())

torch.cuda.is_available() 是来自 PyTorch 深度学习库的一个函数，
它用于检查当前环境是否支持 CUDA（NVIDIA 的并行计算平台和应用程序编程接口 API），
以及 CUDA 驱动程序和兼容的 GPU 是否已正确安装且可以被 PyTorch 使用。

当 torch.cuda.is_available() 返回 True 时，意味着：

1. 系统中装有 NVIDIA 显卡，并且显卡型号支持 CUDA。
2. 已经安装了与该显卡兼容的 CUDA Toolkit。
3. 安装的 PyTorch 版本与 CUDA 版本相匹配。
4. PyTorch 能够成功找到并初始化 CUDA 设备以进行 GPU 加速计算。

如果torch.cuda.is_available() 返回 False，则可能的原因包括：

1. 没有安装 CUDA 或安装的 CUDA 版本不正确。

2. NVIDIA 显卡驱动程序未正确安装或版本过旧。

3. 安装的是 CPU 版本的 PyTorch，而非 GPU 版本。

4. 硬件中没有支持 CUDA 的 NVIDIA GPU。

在运行代码的环境中，
尽管系统中有合适的硬件和软件配置，
但由于环境变量设置或其他原因，
PyTorch 无法访问 GPU。

参考链接：PyTorch碎片：PyToch和Torchvision对应版本

pytorch	torchvision	python	cuda
2.0.0	>0.14	>3.7	11.7, 11.8
1.12.0	0.12	3.7-3.9	10.2(不支持windows), 11.3, 11.6
1.11.0	0.12.0	>=3.6	11.3 ,10.2
1.10.0/1	0.11.0/2	>=3.6	10.2, 11.3
1.9.0	0.10.0	>=3.6	10.2, 11.3
1.8.0	0.9.0	>=3.6	10.2, 11.1
1.7.1	0.8.2	>=3.6	9.2, 10.1, 10.2, 11.0
1.7.0	0.8.0	>=3.6	9.2, 10.1, 10.2, 11.0
1.6.0	0.7.0	>=3.6	9.2, 10.1, 10.2
1.5.1	0.6.1	>=3.6	9.2, 10.1, 10.2
1.5.0	0.6.0	>=3.6	9.2, 10.1, 10.2
1.4.0	0.5.0	==2.7, >=3.5, <=3.8	9.2, 10.0
1.3.1	0.4.2	==2.7, >=3.5, <=3.7	9.2, 10.0
1.3.0	0.4.1	==2.7, >=3.5, <=3.7	9.2, 10.0
1.2.0	0.4.0	==2.7, >=3.5, <=3.7	9.2, 10.0
1.1.0	0.3.0	==2.7, >=3.5, <=3.7	9.0, 10.0
<1.0.1	0.2.2	==2.7, >=3.5, <=3.7	9.0, 10.0

PyTorch与TorchVision如果版本不一致就去PyTorch官网下载
官网网址：https://download.pytorch.org/whl/torch_stable.html

下载完.whl文件后的安装方法：
1、先转移到自己的Conda虚拟环境：

conda activate your_virtual_env_name

2、安装Pytorch(假设Torch.whl在当前路径下)

pip install your_Torch.whl

3、安装TorchVision(假设TorchVision.whl在当前路径下)

pip install your_TorchVision.whl

CUDA ToolKit的驱动的下载官网：CUDA Toolkit Archive

这个是下载的CUDA ToolKit的驱动的安装方法：
nvcc -V不是内部或外部命令，也不是可运行的程序

这个下载的CUDA Toolkit驱动只要 小于等于 你系统自带的NVCUDA驱动就可以了

这个是查看你系统自带的NVCUDA驱动版本的文章链接：
CUDA学习（一）——如何查看自己CUDA版本？

三、PyTorch GPU利用率为0%（很低）（在做完上面操作之后）
GPU利用率是反馈GPU上各种资源繁忙程度的指标。
GPU上的资源包括：

• GPU core：CUDA core, Tensor Core ,integer, FP32 core，INT32 core等。

• frame buffer：capacity, bandwidth。

• 其他：PCIe RX / TX, NVLink RX / TX, encoder和decoder等。

GPU利用率指标可以反馈出GPU内核在过去的采样周期中一个或多个内核在 GPU 上执行的时间百分比。

GPU的利用率指标为0%（很低）不代表模型在运行时没有使用GPU，而是应当通过查看CUDA的利用率指标。

有的windows任务管理器中看不到CUDA的利用率指标，可以通过关闭系统的硬件GPU加速计划来显示这一选项。
具体操作参考链接：任务管理器中N卡GPU看不到cuda进程

本文参考链接：
【Xiang哥避坑指南】YOLOV5只在CPU跑不在GPU跑的问题。
PyTorch碎片：PyToch和Torchvision对应版本
PyTorch下载官网
CUDA Toolkit 下载官网
nvcc -V不是内部或外部命令，也不是可运行的程序
CUDA学习（一）——如何查看自己CUDA版本？
任务管理器中N卡GPU看不到cuda进程