降低参数规模的卷积神经网络模型压缩方法

• 作者: 朱雪晨 陈三林 蔡刚 黄志洪
• 来源期刊: 计算机与现代化
• 关键词: 卷积神经网络 参数规模 分组卷积 卷积拆分 全局平均池化
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 人工智能|ARTIFICIAL INTELLIGENCE
• 页码范围: 83-89
• 页数: 7页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2021.09.013

摘要

针对卷积神经网络模型参数规模越来越大导致难以在计算与存储资源有限的嵌入式设备上大规模部署的问题,提出一种降低参数规模的卷积神经网络模型压缩方法.通过分析发现,卷积层参数量与输入输出特征图数量以及卷积核大小有关,而全连接层参数数量众多且难以大幅减少.通过分组卷积减少输入输出特征图数量,通过卷积拆分减小卷积核大小,同时采用全局平均池化层代替全连接层的方法来解决全连接层参数数量众多的问题.将上述方法应用于LeNet5和AlexNet进行实验,实验结果表明通过使用组合压缩方法对LeNet5模型进行最大压缩后,参数规模可减少97％,识别准确率降低了不到2个百分点,而压缩后的AlexNet模型参数规模可减少95％,识别准确率提高了6.72个百分点,在保证卷积神经网络精度的前提下,可大幅减少模型的参数量.