基于权值相似性的神经网络剪枝

• 作者: 吕绍和 常滔 王晓东 谭虎 黄聪
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 深度学习 神经网络 网络压缩 模型加速 剪枝
• 年，卷（期）: 2018,（8）
• 所属期刊栏目: 人工智能与模式识别
• 页码范围: 1278-1285
• 页数: 8页
• 分类号: TP391
• 字数: 5399字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1710016

摘要

随着深度学习的发展,深度神经网络结构变得越来越复杂,模型深度、大小、计算量以及模型运行时的内存开销、显存开销都随之快速上升,这使得深度网络难以应用到硬件资源不足且实时性要求高的移动终端或是嵌入式设备上(如自动驾驶汽车).神经网络的轻型化是其未来发展的方向,网络压缩已经成为当下研究的热点.对神经网络权值更新传播方式进行深入研究,提出一种简单且易于理解的网络压缩方法.针对卷积层,采用一种基于可分卷积的卷积层加速方法,能够有效减少卷积层(包含pooling)的计算量,并在5层网络中实验测评性能;针对全连接层,应用基于权值相似的剪枝方法.在标准mnist数据集和cifar10数据集上,能够剪除90％以上的全连接层单元,而模型分类准确率没有明显下降.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王晓东	国防科技大学并行与分布处理重点实验室	28	184	8.0	13.0
2	吕绍和	国防科技大学并行与分布处理重点实验室	10	79	5.0	8.0
3	黄聪	国防科技大学并行与分布处理重点实验室	1	5	1.0	1.0
4	常滔	国防科技大学并行与分布处理重点实验室	1	5	1.0	1.0
5	谭虎		1	5	1.0	1.0