深度学习模型压缩方法：剪枝方法分类介绍

本文将介绍深度学习模型压缩方法中的剪枝，内容从剪枝简介、剪枝步骤、结构化剪枝与非结构化剪枝、静态剪枝与动态剪枝、硬剪枝与软剪枝等五个部分展开。

一、剪枝简介
在介绍剪枝之前，首先介绍过参数化这个概念，过参数化主要是指在训练阶段，在数学上需要进行大量的微分求解，去捕捉数据中微小的变化信息，一旦完成迭代式的训练之后，网络模型在推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化的理论基础提出来的。剪枝算法的核心思想就是减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。

二、剪枝步骤：
对模型进行剪枝有三种常见的做法：

1.先训练一个模型 ，然后对模型进行剪枝，最后对剪枝后模型进行微调。这种方法是三种方法中用的最多的。
2.直接在模型训练过程中进行剪枝，最后对剪枝后模型进行微调。
3.直接进行剪枝，然后从头训练剪枝后的模型。
上述做法中提到的对模型进行剪枝具体步骤如下：

先Training，在Pruning，最后Fine-tuning:

第一步训练：是对网络模型进行训练。在剪枝流程中，训练部分主要指预训练，训练的目的是为剪枝算法做准备；

第二步剪枝：在这里面可以进行如细粒度剪枝、向量剪枝、核剪枝、滤波器剪枝等各种不同的剪枝算法。其中很重要的一点，就是在剪枝之后，