深度神经网络模型压缩综述

• 作者: 李擎 李江昀 蔡铮 薛卓尔 赵义凯
• 来源期刊: 工程科学学报
• 学科: 工学
• 关键词: 深度神经网络 模型压缩 深度学习 网络剪枝 网络蒸馏
• 年，卷（期）: 2019,（10）
• 页码范围: 1229-1239
• 页数: 11页
• 分类号: TP183
• 语种: 中文
• DOI: 10.13374/j.issn2095-9389.2019.03.27.002

摘要

深度神经网络近年在计算机视觉以及自然语言处理等任务上不断刷新已有最好性能,已经成为最受关注的研究方向.深度网络模型虽然性能显著,但由于参数量巨大、存储成本与计算成本过高,仍然难以部署到硬件受限的嵌入式或移动设备上.相关研究发现,基于卷积神经网络的深度模型本身存在参数冗余,模型中存在对最终结果无用的参数,这为深度网络模型压缩提供了理论支持.因此,如何在保证模型精度条件下降低模型大小已经成为热点问题.本文对国内外学者近几年在模型压缩方面所取得的成果与进展进行了分类归纳并对其优缺点进行评价,并探讨了模型压缩目前存在的问题以及未来的发展方向.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李擎	北京科技大学自动化学院	115	1522	21.0	36.0
3	李江昀	北京科技大学自动化学院	21	169	8.0	12.0
7	赵义凯	北京科技大学自动化学院	1	5	1.0	1.0
11	薛卓尔	北京科技大学自动化学院	1	5	1.0	1.0
12	蔡铮	北京科技大学自动化学院	6	5	1.0	2.0