基于视觉关系推理与上下文门控机制的图像描述

• 作者: 陈巧红 裴皓磊 孙麒
• 来源期刊: 浙江大学学报（工学版）
• 学科: 工学
• 关键词: 图像语义描述 视觉关系推理 多模态编码 上下文门控机制 注意力机制
• 年，卷（期）: 2022,（3）
• 所属期刊栏目: 计算机与控制工程|Computer and Control Engineering
• 页码范围: 542-549
• 页数: 8页
• 分类号: TP181
• 语种: 中文
• DOI: 10.3785/j.issn.1008-973X.2022.03.013

摘要

为了探索图像场景理解所需要的视觉区域间关系的建模与推理,提出视觉关系推理模块.该模块基于图像中不同的语义和空间上下文信息,对相关视觉对象间的关系模式进行动态编码,并推断出与当前生成的关系词最相关的语义特征输出.通过引入上下文门控机制,以根据不同类型的单词动态地权衡视觉注意力模块和视觉关系推理模块的贡献.实验结果表明,对比以往基于注意力机制的图像描述方法,基于视觉关系推理与上下文门控机制的图像描述方法更好;所提模块可以动态建模和推理不同类型生成单词的最相关特征,对输入图像中物体关系的描述更加准确.