基于注意力机制的视觉问答任务研究

• 作者: 曹斌 柯显信 白姣姣
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 视觉问答 注意力机制 LSTM 人机交互
• 年，卷（期）: 2020,（10）
• 所属期刊栏目: 人工智能与识别
• 页码范围: 145-150
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2020.10.023

摘要

提出一种基于注意力机制的视觉问答系统,通过匹配图像中与问题相关的区域来回答基于图像的问题.通过拼接的方式将问题特征与图像特征映射到一个共享空间,再通过非线性层、线性层以及Softmax层来得到注意力权重.该方法将视觉问答任务视为一个多分类任务,将数据集中出现频率最高的1000个答案作为候选答案.利用预训练的VGG16模型提取图片特征,利用LSTM网络提取问题特征,采用VQA数据集进行训练和测试.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	柯显信		29	222	8.0	14.0
2	白姣姣		2	0	0.0	0.0
3	曹斌		3	2	1.0	1.0