一种卷积神经网络的模型压缩算法

• 作者: 包志强 程萍 黄琼丹 吕少卿
• 来源期刊: 计算机与现代化
• 关键词: 卷积神经网络 卷积核 皮尔逊相关系数 模型压缩 正交
• 年，卷（期）: 2021,（10）
• 所属期刊栏目: 网络与通信|NETWORK AND COMMUNICATION
• 页码范围: 107-111
• 页数: 5页
• 分类号: TP183
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2021.10.017

摘要

卷积神经网络的研究取得一系列突破性成果,其优秀表现是由深层结构支撑的.针对复杂的卷积神经网络在参数量及计算量上存在大量的冗余问题,提出一种简洁有效的网络模型压缩算法.首先,通过计算卷积核之间的皮尔逊相关系数判断相关性,循环删除冗余参数,从而压缩卷积层.其次,采用局部-全局的微调策略,恢复网络性能.最后,提出一种参数正交正则,促使卷积核之间的正交化,进而减少冗余特征.实验结果表明,在MNIST数据集上,该压缩算法能够在不损失测试精度的前提下,使AlexNet卷积层的参数量压缩率达到53.2％,浮点操作计算量可以减少42.8％,并且网络模型收敛后具有较小的误差.