基于梯度的深度网络剪枝算法

• 作者: 宋纯贺 张宏宇 徐志远 王忠锋 蔡颖凯
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 深度网络 压缩与加速 剪枝 自适应阈值 神经网络
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 人工智能
• 页码范围: 1253-1259
• 页数: 7页
• 分类号: TP391.4
• 字数: 5801字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2019081374

摘要

深度神经网络模型通常存在大量冗余的权重参数,计算深度网络模型需要占用大量的计算资源和存储空间,导致深度网络模型难以部署在一些边缘设备和嵌入式设备上.针对这一问题,提出了一种基于梯度的深度网络剪枝(GDP)算法.GDP算法核心思想是以梯度作为评判权值重要性的依据.首先,通过自适应的方法找出阈值进行权值参数的筛选;然后,剔除那些小于阈值的梯度所对应的权值;最后,重新训练剪枝后的深度网络模型来恢复网络精度.实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高了0.13个百分点,计算量下降了1.1个百分点,具有更优越的深度网络压缩与加速性能.