基于一种视觉注意力机制的图像描述方法

• 作者: 刘惠义 薛炜
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: 图像描述 空间注意力机制 通道级注意力机制 视觉哨兵 视觉注意力机制
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 研究与探讨
• 页码范围: 63-66
• 页数: 4页
• 分类号: TP391.2|TP183
• 字数: 3016字
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2020.01.014

摘要

为了提高由图像生成文字描述的准确率,文中提出了一种基于传统的编码解码框架,分别在编码端和解码端融入视觉注意力机制的方法,即在编码端加入空间注意力机制和图像通道级注意力机制相结合的方法.在解码端运用自适应视觉注意力机制的方法,即在传统的解码端上加入一个额外的“视觉哨兵”模块.文中提出的方法在生成文字描述的过程中自动决定是依赖图像特征还是依赖语义特征,并传递给相应的注意力机制.实验证明,相比较单一的视觉注意力机制,文中方法取得了较高的图像描述语句的正确率,具有更好的图像描述性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘惠义	河海大学计算机与信息学院	53	303	8.0	15.0
2	薛炜	河海大学计算机与信息学院	1	1	1.0	1.0