面向图像自动语句标注的注意力反馈模型

• 作者: 吕凡 夏振平 张艳宁 盛胜利 胡伏原
• 来源期刊: 计算机辅助设计与图形学学报
• 学科: 工学
• 关键词: 图像自动语句标注 注意力机制 注意力反馈
• 年，卷（期）: 2019,（7）
• 所属期刊栏目: 图像与视觉
• 页码范围: 1122-1129
• 页数: 8页
• 分类号: TP391.41
• 字数: 5320字
• 语种: 中文
• DOI: 10.3724/SP.J.1089.2019.17505

摘要

图像自动语句标注利用计算机自动生成描述图像内容的语句,在服务机器人等领域有广泛应用.许多学者已经提出了一些基于注意力机制的算法,但是注意力分散问题以及由注意力分散引起的生成语句错乱问题还未得到较好解决.在传统注意力机制的基础上引入注意力反馈机制,利用关注信息的图像特征指导文本生成,同时借助生成文本中的关注信息进一步修正图像中的关注区域,该过程不断强化图像和文本中的关键信息匹配、优化生成的语句.针对常用数据集Flickr8k,Flickr30k和MSCOCO的实验结果表明,该模型在一定程度上解决了注意力分散和语句顺序错乱问题,比其他基于注意力机制方法标注的关注区域更加准确,生成语句更加通顺.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张艳宁	西北工业大学计算机学院	187	2026	21.0	35.0
2	胡伏原	苏州科技大学电子与信息工程学院	34	230	7.0	15.0
6	夏振平	苏州科技大学电子与信息工程学院	11	19	3.0	3.0
7	吕凡	苏州科技大学电子与信息工程学院	7	9	2.0	2.0