融合注意力机制与知识蒸馏的孪生网络压缩

• 作者: 耿增民 余梦巧 刘峡壁 吕超
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 孪生网络 网络压缩 知识蒸馏 注意力机制 图像协同分割
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 图像分析和识别
• 页码范围: 2563-2577
• 页数: 15页
• 分类号: TP391
• 语种: 中文

摘要

目的 使用深度孪生网络解决图像协同分割问题,显著提高了图像分割精度.然而,深度孪生网络需要巨大的计算量,使其应用受到限制.为此,提出一种融合二值化注意力机制与知识蒸馏的孪生网络压缩方法,旨在获取计算量小且分割精度高的孪生网络.方法 首先提出一种二值化注意力机制,将其运用到孪生网络中,抽取大网络中的重要知识,再根据重要知识的维度重构原大网络,获取孪生小网络结构.然后基于一种改进的知识蒸馏方法将大网络中的知识迁移到小网络中,迁移过程中先后用大网络的中间层重要知识和真实标签分别指导小网络训练,以获取目标孪生小网络的权值.结果 实验结果表明,本文方法可将原孪生网络的规模压缩为原来的1/3.3,显著减小网络计算量,且分割结果接近于现有协同分割方法的最好结果.在MLMR-COS数据集上,压缩后的小网络分割精度略高于大网络,平均Jaccard系数提升了0.07％;在Internet数据集上,小网络分割结果的平均Jaccard系数比传统图像分割方法的最好结果高5％,且达到现有深度协同分割方法的最好效果;对于图像相对复杂的iCoseg数据集,压缩后的小网络分割精度相比于传统图像分割方法和深度协同分割方法的最好效果仅略有下降.结论 本文提出的孪生网络压缩方法显著减小了网络计算量和参数量,分割效果接近现有协同分割方法的最好结果.