面向轻量化神经网络的模型压缩与结构搜索

• 作者: 张国和 成舒婷 梁峰 田志超 董名
• 来源期刊: 西安交通大学学报
• 关键词: 轻量化神经网络 模型压缩 遗传算法 权重共享
• 年，卷（期）: 2020,（11）
• 页码范围: 106-112
• 页数: 7页
• 分类号: TP311
• 语种: 中文
• DOI: 10.7652/xjtuxb202011013

摘要

针对轻量化神经网络中大量1×1卷积操作限制网络模型压缩的问题,提出了轻量化神经网络模型压缩算法,并对网络结构进行了搜索.根据有限长单位冲激响应滤波器线性相位特性思想,设计了具有线性相位约束的1×1卷积滤波器,将其应用在MobileNet网络中验证了有效性.采用遗传算法对MobileNet网络中具有线性相位约束的1×1卷积滤波器比例进行搜索,使用权重共享算法对遗传算法搜索过程进行加速,使用相对适应度指导算法进化方向.实验证明:具有线性相位约束滤波器的MobileNet网络在Cifar10数据集上的网络参数量降低为原始MobileNet网络的51.24％,网络准确率下降0.38％;在ImageNet数据集上的网络参数量降低为原始MobileNet网络的62.88％,网络top5准确率下降1.44％,具有线性相位约束的1×1卷积滤波器可以对网络模型进行有效压缩;遗传算法搜索出的最优结构网络准确率与MobileNet网络的相仿,网络参数量下降为原始网络的83.54％,网络模型更小,性能更优.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁峰		42	263	9.0	15.0
2	张国和		14	45	4.0	6.0
3	董名		1	0	0.0	0.0
4	田志超		1	0	0.0	0.0
5	成舒婷		1	0	0.0	0.0