基于关系推理与门控机制的视觉问答方法

• 作者: 王鑫 陈巧红 孙麒 贾宇波
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 视觉问答(VQA) 注意力机制 视觉区域 关系推理 自适应门控
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 计算机技术、信息与电子工程|Computer Technology, Information and Electronic Engineering
• 页码范围: 36-46
• 页数: 11页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2022.01.004

摘要

针对现有的注意力机制存在缺乏对视觉对象间关系的理解能力及准确度较差的问题,在注意力机制的基础上增加关系推理模块与自适应门控机制.该方法利用注意力机制关注多个与问题相关的视觉区域,利用关系推理模块中的二元关系推理与多元关系推理加强视觉区域间的联系.将分别得到的视觉注意力特征与视觉关系特征输入到自适应门控中,动态控制2种特征对预测答案的贡献.在VQA1.0及VQA2.0数据集上的实验结果表明:该模型与DCN、MFB、MFH及MCB等先进模型相比,在总体精度上均有约2％的提升;利用基于关系推理与门控机制的模型能够更好地理解图像内容,有效地提升视觉问答的准确率.