基于滤波衰减的自知识蒸馏压缩算法

• 作者: 熊李艳 黄佳文 黄晓辉 陈庆森 华东交通大学信息与软件工程学院
• 来源期刊: 华东交通大学学报
• 学科: 工学
• 关键词: 卷积神经网络;滤波器剪枝;图像分类;知识蒸馏
• 年，卷（期）: 2025,（6）
• 页码范围: 112-120
• 页数: 9页
• 语种: 中文
• DOI: 10.16749/j.cnki.jecjtu.2024.06.003

摘要

【目的】为了解决模型剪枝后性能损失严重的问题，提出了一种基于滤波衰减和自知识蒸馏的压缩算法。【方法】文章通过滤波衰减机制来保留冗余滤波器的信息，进而缩小剪枝前后的模型差异，降低剪枝导致的性能损耗。同时，在剪枝过程中引入一个退火衰减函数，使得滤波器的衰减呈现动态变化，进而能够快速高效地搜索模型的最佳子结构，提高模型的收敛速度。此外，还利用自知识蒸馏技术在预训练模型和压缩模型之间进行知识转移。【结果】结果表明，该压缩算法在减少VGG-16模型37.3%FLOPs的条件下，将模型精度提升了0.12个百分点。【结论】该方法能够为卷积神经网络提供一种更稳定、更高效的模型压缩方法。