基于双向注意力机制图像描述方法研究

• 作者: 张丽红 陶云松
• 来源期刊: 测试技术学报
• 学科: 工学
• 关键词: 图像描述 注意力机制 双向长短期记忆网络 双注意力机制 双向双注意力网络
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 数据采集与图像处理
• 页码范围: 346-350,364
• 页数: 6页
• 分类号: TP391.4
• 字数: 2415字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-7449.2019.04.014

摘要

大多数图像描述任务中每个单词的生成都依赖于图像全部信息和生成的上文信息,其中包括许多无关的图像信息,而且没有学习下文信息.为解决该问题,提出了一种双注意力机制,先使用上一次的图像显著信息与词向量一起预测当前的隐层状态,再使用当前的隐层状态预测当前图像显著信息.将双注意力机制与双向长短期记忆网络结合起来构成双向双注意力网络,并与卷积神经网络共同构成图像描述系统框架.该框架首先采用卷积神经网络提取图像特征,然后将图像特征输入到含有注意力机制的双向长短期记忆网络中,双向双注意力网络同时获取前向和后向的图像显著信息与隐层状态,产生图像描述.在数据集Flickr30k与MS COCO上进行模型训练与测试.结果表明,模型分别与只含有注意力机制和只含有双向循环神经网络模型相比,图像描述准确率获得了提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张丽红	山西大学物理电子工程学院	44	191	8.0	12.0
2	陶云松	山西大学物理电子工程学院	2	0	0.0	0.0