结合半波高斯量化与交替更新的神经网络压缩方法

• 作者: 张红梅 严海兵 张向利
• 来源期刊: 计算机工程
• 关键词: 卷积神经网络 量化 模型压缩 半波高斯量化 交替更新
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 人工智能与模式识别|Artificial Intelligence and Pattern Recognition
• 页码范围: 80-87
• 页数: 8页
• 分类号: TP183
• 语种: 中文
• DOI: 10.19678/j.issn.1000-3428.0057842

摘要

为使神经网络模型能在实时性要求较高且内存容量受限的边缘设备上部署使用,提出一种基于半波高斯量化与交替更新的混合压缩方法.对神经网络模型输入部分进行2 bit均匀半波高斯量化,将量化值输入带有缩放因子的二值网络通过训练得到初始二值模型,利用交替更新方法对已训练的二值模型进行逐层微调以提高模型测试精度.在CIFAR-10和ImageNet数据集上的实验结果表明,该方法能有效降低参数和结构冗余所导致的内存和时间开销,在神经网络模型压缩比接近30的前提下,测试精度相比HWGQ-Net方法提高0.8和2.0个百分点且实现了10倍的训练加速.