图像与问题双引导注意力机制视觉问答算法

• 作者: 陈婷 王玉德 任志伟 杨昊 高张弛
• 来源期刊: 通信技术
• 学科: 工学
• 关键词: 视觉问答 交互推理 双引导注意力机制 自我注意
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 信息处理与传输|Information Processing & Transmission
• 页码范围: 36-42
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1002-0802.2022.01.006

摘要

针对视觉问答任务中问题特征与图像特征缺乏交互推理关系的问题,提出了图像与问题双引导注意力机制视觉问答算法.模型结构主要由问题特征注意力模块、图像特征注意力模块、问题与图像双引导注意力模块、特征融合模块4部分构成.该算法先针对问题特征和图像特征分别使用自我注意力机制实现特征的自我加强,然后引入图像与问题双引导注意力机制,最后使用线性分类器分类输出.在VQA V2.0数据集上实验验证,该算法表现出较好的性能,准确率达到70.98％.