一种基于注意力机制与多模态的图像描述方法

• 作者: 徐和然 房超 李金泽 牛斌 纪兴海 马利
• 来源期刊: 辽宁大学学报（自然科学版）
• 学科: 工学
• 关键词: 图像描述 注意力机制 LSTM 多模态
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 信息科学与技术
• 页码范围: 38-45
• 页数: 8页
• 分类号: TP391
• 字数: 4443字
• 语种: 中文

摘要

最近几年在深度学习领域中,自动生成一副图像的自然语言描述引发了学界的广泛关注,原因是图像描述在实际应用中的重要性以及它连接了两个重要的人工智能领域:计算机视觉和自然语言处理.以往的模型大多采用基于模板或简单的编码-解码方式,生成的文本结构较为单一并且不能够根据图像中各个物体的相互关系表达出图像的深层意义.提出了一种基于注意力机制与多模态的图像描述方法,在LSTM( Long-Short Term Memory)的基础上改进了Attention机制,并在Attention结构后面添加了多模态层对图像的上下文特征信息以及LSTM的隐层状态进行融合处理.在两个公共数据集:MS COCO以及Flickr 30K上进行验证,实验结果证明所提方法有效且可以使生成的描述语句更加丰富.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	牛斌	辽宁大学信息学院	27	85	5.0	8.0
2	马利	辽宁大学信息学院	24	91	5.0	8.0
3	徐和然	渤海大学信息学院	2	0	0.0	0.0
4	李金泽	辽宁大学信息学院	3	5	1.0	2.0
5	房超	辽宁大学信息学院	1	0	0.0	0.0