基于权重关联性的卷积神经网络模型剪枝方法

• 作者: 严阳春 郭荣佐 杨锦霞
• 来源期刊: 小型微型计算机系统
• 关键词: 深度学习 卷积神经网络 模型压缩 模型剪枝 权重的关联性
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 计算机网络与信息安全|Computer Network and Information Security
• 页码范围: 1500-1504
• 页数: 5页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2021.07.026

摘要

模型剪枝是深度学习领域对模型进行压缩加速的一种有效方法.目前结构化的剪枝方法仅对整个过滤器的权重进行评估,但当一个过滤器被移除后,依赖过滤器而存在的关联权重也会被移除,现有的方法并没有考虑这部分权重的重要性,忽略了权重关联性.同时,通过试错的方式来得到每层的剪枝比例,工作量较大.针对上述问题,本文提出一种基于权重关联性的卷积神经网络剪枝算法.首先,在经过预先训练的模型上,该算法对整个过滤器权重与其相应输出通道在下一层的关联权重进行联合评估.其次对评估值进行全局标准化,实现评估值的全局可比较,移除整个模型中重要性较小的过滤器权重从而实现剪枝.最后对剪枝后的模型进行微调,恢复模型的准确率.在CIFAR10/100数据集上,本文对VGGNet、ResNet和DenseNet模型进行实验.实验结果表明,提出的方法可以有效地压缩和加速模型,且模型仍能保持良好的精度.