面向图像语义分割任务的多级注意力蒸馏学习

• 作者: 刘佳琦 杨璐 王龙志
• 来源期刊: 智能计算机与应用
• 关键词: 蒸馏学习 语义分割 注意力 卷积神经网络
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 学术研究与应用|Academic research and application
• 页码范围: 13-18,25
• 页数: 7页
• 分类号: TP391.41
• 语种: 中文
• DOI: 10.3969/j.issn.2095-2163.2021.05.004

摘要

传统的蒸馏学习仅通过大网络对轻量网络进行单向蒸馏,不但难以从轻量网络的学习状态中得到反馈信息,对训练过程进行优化调整,同时还会限制轻量网络的特征表达能力.本文提出结合自身多级注意力上下文信息进行自我学习优化的方法(MAD,Multi Attention Distillation),以自监督的方式使自身成熟的部分约束不成熟部分,即浅层可以从深层中提取有用的上下文信息,让浅层特征学习高层特征的表达,从而提升网络的整体表达能力.使用轻量级网络ERFNet,DeepLab_V3在两个不同任务的数据集CULane、VOC上进行验证.实验结果表明,MAD可以在不增加推理时间的前提下,提升网络的特征提取能力,使ERFNet在CULane任务的F,-measure指标提升2.13,DeepLab_V3在VOC任务的mIoU指标提升1.5.