基于联合动态剪枝的深度神经网络压缩算法

• 作者: 张明明 卢庆宁 李文中 宋浒
• 来源期刊: 计算机应用
• 关键词: 模型压缩 网络剪枝 动态剪枝 深度神经网络 卷积核
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 2020年全国开放式分布与并行计算学术年会(DPCS 2020)|National Open Distributed and Parallel Computing Conference 2020 (DPCS 2020)
• 页码范围: 1589-1596
• 页数: 8页
• 分类号: TP183
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020121914

摘要

作为模型压缩的一个分支,网络剪枝算法通过移除深度神经网络中不重要的参数来降低计算消耗;然而,永久性的剪枝会导致模型容量不可逆转的损失.针对该问题,提出了一种联合动态剪枝的算法来综合分析卷积核与输入图像的特征.一方面,将部分卷积核置零,并允许其在训练过程中更新,直到网络收敛之后再永久性移除被置零的卷积核.另一方面,采样输入图像的特征,然后利用通道重要性预测网络对这些特征进行分析,从而确定卷积运算中可以跳过的通道.基于M-CifarNet与VGG16的实验结果表明,联合动态剪枝分别取得了2.11和1.99的浮点运算压缩比,而与基准模型(M-CifarNet、VGG16)相比准确率仅分别下降不到0.8个百分点和1.2个百分点.相较于现有的网络剪枝算法,联合动态剪枝有效地减少了模型的浮点运算次数(FLOPs)以及参数规模,在同样的压缩比下获得了更高的准确率.