基于多模态注意力机制的图像理解描述新方法

• 作者: 岳贡 李学明 陈光伟
• 来源期刊: 电子科技大学学报
• 学科: 工学
• 关键词: 注意力机制 图像理解 关键词 多模态 空间
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 计算机工程与应用
• 页码范围: 867-874
• 页数: 8页
• 分类号: TP312
• 语种: 中文
• DOI: 10.12178/1001-0548.2019228

摘要

针对现有的图像理解描述方法存在描述句子不丰富、不准确、模型结构复杂、难以训练等问题,该文提出了一种端到端的基于多模态注意力机制(M-AT)的图像理解描述新方法.该方法首先通过关键词图像特征提取模型(K-IFE)提取更优的空间特征和关键词特征,并利用关键词注意力机制模型(K-AT)关注重要描述词语、空间注意机制模型(S-AT)关注图像更重要的区域并简化模型结构,且K-AT和S-AT两种注意力机制可以相互矫正,最终生成更加准确、丰富的图像描述语句.在MSCOCO数据集的实验结果表明该方法是有效的,部分评价指标有2％左右的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李学明		53	688	15.0	24.0
2	岳贡		1	0	0.0	0.0
3	陈光伟		1	0	0.0	0.0