深度网络模型压缩综述

• 作者: 宋明黎 宋杰 王兴路 雷杰 高鑫
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 深度神经网络 网络压缩 网络剪枝 网络精馏 网络分解
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 算法设计与分析
• 页码范围: 251-266
• 页数: 16页
• 分类号: TP301
• 字数: 11237字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005428

摘要

深度网络近年来在计算机视觉任务上不断刷新传统模型的性能,已逐渐成为研究热点.深度模型尽管性能强大,然而由于参数数量庞大、存储和计算代价高,依然难以部署在受限的硬件平台上(如移动设备).模型的参数在一定程度上能够表达其复杂性,相关研究表明,并不是所有的参数都在模型中发挥作用,部分参数作用有限、表达冗余,甚至会降低模型的性能.首先,对国内外学者在深度模型压缩上取得的成果进行了分类整理,依此归纳了基于网络剪枝、网络精馏和网络分解的方法;随后,总结了相关方法在多种公开深度模型上的压缩效果;最后,对未来的研究可能的方向和挑战进行了展望.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	雷杰	浙江大学计算机科学与技术学院	3	31	2.0	3.0
2	宋明黎	浙江大学计算机科学与技术学院	15	149	7.0	12.0
3	宋杰	浙江大学计算机科学与技术学院	2	27	1.0	2.0
4	高鑫	浙江大学计算机科学与技术学院	3	40	2.0	3.0
5	王兴路	浙江大学计算机科学与技术学院	1	26	1.0	1.0