P122 神经网络压缩Network compression-purning

发布时间：2024年01月12日

在 边缘设备上跑时，模型太大，跑不动
、purn: 删减
在这里插入图片描述
删减以后，正确率有影响会下降
为解决这个问题，进行微调，每次只减一点参数，重复多次。 使得最后修剪后的模型跟原来的模型差别不大。

判断某一个参数是否重要，是否要去掉

在这里插入图片描述

问题：进行过修剪后不规则的网络，pytorch难以实现，也无法进行矩阵计算，在GPU上无法加速。

解决办法：修剪掉的weight ，设为0 ，这样能够进行GPU计算。 但是 这样的话，net 并没有减少
在这里插入图片描述
weight purning 不一定是有效的方法
那么 neuron purning 呢
在这里插入图片描述

为什么不直接train 小的 network
小的networ 不好 train
大的好train

文章来源:https://blog.csdn.net/weixin_39107270/article/details/135546126
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章