基于多源信息的全局滤波器剪枝

• 作者: 修辉 薛丽霞 汪荣贵 杨娟
• 来源期刊: 微电子学与计算机
• 学科: 工学
• 关键词: 语义分割 神经网络剪枝 知识蒸馏 多源信息 全局重要性
• 年，卷（期）: 2023,（9）
• 所属期刊栏目: 人工智能与算法
• 页码范围: 1-10
• 页数: 9页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19304/J.ISSN1000-7180.2022.0163

摘要

针对现有神经网络剪枝方法未全面评估滤波器的重要性以及跨层滤波器的重要性间存在一定差异的问题，提出了一种基于多源信息的全局滤波器剪枝算法，建立了特征和权重信息间的连接.首先，根据特征信息较为丰富和权重信息受数据噪音影响低的特点，分别以特征间相关性和权重熵来评估滤波器的相对和绝对重要性.然后，将每层中不同压缩比例的滤波器看作一个整体，评估其对模型的全局重要性，按照压缩需求跨层剪掉模型中最不重要的部分.最后，采用知识蒸馏的方式来恢复剪枝后模型的精度，不依赖其他数据集就能完成模型的压缩与微调.为了验证所提方法的适用性，针对DeepLabV3、DABNet和U-Net网络在三个语义分割数据集上进行了大量的实验.也针对多种深度的ResNet网络在图像分类数据集上进行了验证.实验结果表明，通过多源信息可以更精确的评估单层中滤波器的重要性，通过全局重要性来指导跨层剪枝可以使模型的关键信息损失降到最低.