基于注意力机制的卷积神经网络可视化方法

• 作者: 司念文 常禾雨 张文林 屈丹
• 来源期刊: 信息工程大学学报
• 关键词: 卷积神经网络 可解释性 可视化 注意力机制 热力图
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 信息与通信工程
• 页码范围: 257-263
• 页数: 7页
• 分类号: E917
• 语种: 中文
• DOI: 10.3969/j.issn.1671-0673.2021.03.001

摘要

相比于传统机器学习算法,卷积神经网络"端到端"的黑盒特性使其内部工作机制缺乏透明性和可解释性,导致其在某些安全性要求较高的领域受到一定限制.为此,提出一种基于注意力机制的卷积神经网络可视化方法,用于可视化解释卷积神经网络中间层所学特征.该方法首先将注意力机制添加到网络结构中,跟随网络一起训练;然后,获取训练后模型的最高层特征图,并使用双线性插值将其放大到输入图像大小;最后,将处理后的特征图与输入图像叠加形成热力图,用于定位输入图像的关键区域,实现对卷积神经网络所学特征的理解和解释.在CIFAR10数据集上实验结果表明,相比于直接对特征图进行可视化,基于注意力机制的可视化方法能够更准确地定位目标的关键特征,从而帮助理解卷积神经网络所学特征.