深度学习的轻量化神经网络结构研究综述

• 作者: 王军 冯孙铖 程勇
• 来源期刊: 计算机工程
• 关键词: 深度学习 轻量化设计 深度可分离卷积 Octave卷积 神经网络结构搜索 模型压缩
• 年，卷（期）: 2021,（8）
• 所属期刊栏目: 热点与综述|Research Hotspots and Reviews
• 页码范围: 1-13
• 页数: 13页
• 分类号: TP18
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0060931

摘要

随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度.阐述深度学习的轻量化网络结构设计方法,对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势,总结与归纳上述3种主流轻量化方法中性能优异的网络结构并分析各自的优势和局限性.在此基础上,指出轻量化网络结构设计所面临的挑战,同时对其应用方向及未来发展趋势进行展望.