基于物体检测及关系推理的视觉问答方法研究

• 作者: 张丽红 邱真娜 陶云松
• 来源期刊: 测试技术学报
• 学科: 工学
• 关键词: 深度学习 视觉问答 关系推理 长短期记忆网络 多模态特征融合
• 年，卷（期）: 2020,（5）
• 所属期刊栏目: 数据采集与图像处理
• 页码范围: 439-445,450
• 页数: 8页
• 分类号: TP317.4
• 语种: 中文
• DOI: 10.3969/j.issn.1671-7449.2020.05.013

摘要

大多数图像描述及视觉问答任务中,主要工作是对图像数据的拟合分类,而缺乏图像中物体之间的关系推理,导致描述图像或回答问题时准确率不高.为解决该问题,本文提出一种基于物体检测及关系推理的视觉问答模型.该模型由上游网络和下游网络两部分组成,上游网络采用极快速区域卷积神经网络,下游网络由多层感知机组成的多模态特征融合推理网络构成.上游网络对图像进行物体检测与特征提取,利用长短期记忆网络对提问的问题进行信息提取以嵌入下游网络;下游网络对问题和图像的特征进行融合和推理,进而得出答案.采用数据集CLEVR进行模型训练与视觉问答测试,实验结果表明,本模型与其他已有模型相比,图像中物体之间关系推理的准确率获得了提高,达到98.96％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张丽红		44	191	8.0	12.0
2	邱真娜		1	0	0.0	0.0
3	陶云松		2	0	0.0	0.0