权重量化的深度神经网络模型压缩算法

• 作者: 梁晓曦 王萌 蔡晓东 陈昀
• 来源期刊: 西安电子科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 权重量化 压缩 四值滤波器 存储空间 全精度
• 年，卷（期）: 2019,（2）
• 页码范围: 132-138
• 页数: 7页
• 分类号: TP391
• 字数: 3765字
• 语种: 中文
• DOI: 10.19665/j.issn1001-2400.2019.02.022

摘要

深度神经网络模型通常存在大量的权重参数,为了减少其对存储空间的占用,提出权重量化的深度神经网络模型压缩算法.在前向传播过程中,使用一个四值滤波器将全精度权重量化为2、1、-1和-2四种状态,以进行高效的权重编码.最小化全精度权重与缩放后四值权重的L2距离,以获得精确的四值权重模型.使用一个32位二进制数对16个四值权重进行编码压缩,以大幅度压缩模型.在MNIST、CIFAR-10和CIFAR-100数据集上的实验表明,该算法分别获得了6.74％、6.88％和6.62％的模型压缩率,与三值权重网络的相同,但准确率分别提升了0.06％、0.82％和1.51％.结果 表明,该算法可提供高效、精确的深度神经网络模型压缩.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡晓东	桂林电子科技大学信息与通信学院	64	228	9.0	12.0
2	王萌	桂林电子科技大学信息与通信学院	8	13	2.0	3.0
3	梁晓曦	桂林电子科技大学信息与通信学院	7	13	2.0	3.0
4	陈昀	桂林电子科技大学信息与通信学院	3	8	1.0	2.0