极智开发 | 解读英伟达软件生态 深度神经网络库cuDNN

欢迎关注，获取我的更多经验分享

大家好，我是极智视界，本文来介绍一下 解读英伟达软件生态 深度神经网络库cuDNN。

邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码下载，链接：https://t.zsxq.com/0aiNxERDq

cuDNN，全称为 NVIDIA CUDA Deep Neural Network Library，是深度神经网络算子层级 GPU 加速库集合，提供了深度学习算法中常见算子的高效实现，所以也直接成为了很多上层推理引擎底层调优的算子备选实现，比如 TensorRT、比如 TVM。再换个角度理解，之前我在这个系列的开篇 "解读英伟达软件生态之 CUDA" 中介绍了 GPU 的编程语言 CUDA C，用 CUDA C 其实就是为了写一些 Kernel，而这里的 cuDNN 则是提供了一系列已经写好的高效的 CUDA C Kernel 的集合。同级别的概念还有 cuBLAS、cuRAND、cuFFT，区别就在于它们面向的应用场景不同，这里的 cuDNN 就是面向深度神经网络算子的高效实现。

cuDNN 中常见的高