基于特征重建的知识蒸馏方法

• 作者: 彭书华 李俊杰 郭俊伦
• 来源期刊: 现代计算机
• 关键词: 深度神经网络 模型压缩 知识蒸馏 特征重建 风格迁移 图像分类
• 年，卷（期）: 2020,（29）
• 所属期刊栏目: 图形图像
• 页码范围: 43-47,73
• 页数: 6页
• 语种: 中文
• DOI: 10.3969/j.issn.1007-1423.2020.29.007

摘要

为了解决深度神经网络压缩后精度损耗大的问题,提出一种基于知识蒸馏的模型压缩架构.该架构的创新点在于结合了图片风格迁移实验中的特征重建方法,在训练学生网络时,将学生网络的浅层特征分组嵌入已经训练好的教师网络中对深度特征进行特征重建,从而达到学生网络的输出结果逼近教师网络的目的.实验结果表明,在图像分类任务中,网络宽度不变的情况下,将模型压缩为原模型的一半,在Cifar10数据集下准确率仅损失约1.5％;在Cifar100数据集下准确率仅损失约3％.由此可知,此架构可应用于图像分类任务的模型压缩中.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭书华		23	145	6.0	11.0
2	李俊杰		3	0	0.0	0.0
3	郭俊伦		1	0	0.0	0.0