适用于目标检测的上下文感知知识蒸馏网络

• 作者: 褚晶辉 史李栋 井佩光 吕卫
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 知识蒸馏 通道注意力 模型轻量化 目标检测 深度学习
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 计算机与控制工程|Computer and Control Engineering
• 页码范围: 503-509
• 页数: 7页
• 分类号: TP37
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2022.03.009

摘要

针对现有应用于目标检测的知识蒸馏方法难以利用目标周围上下文区域的特征信息,提出适用于目标检测的上下文感知知识蒸馏网络(CAKD Net)方法.该方法能充分利用被检测目标的上下文信息,同时沿空间域和通道域进行信息感知,消除教师网络和学生网络的差异.该方法包括基于上下文感知的区域提纯模块(CARM)和自适应通道注意力模块(ACAM).CARM利用上下文信息,自适应生成显著性区域的细粒度掩膜,准确消除教师网络和学生网络各自特征响应在该区域的差异;ACAM引入空间-通道注意力机制,进一步优化目标函数,提高学生网络的性能.实验结果表明,所提方法对模型检测精确率提升超过2.9％.