融合双注意力与多标签的图像中文描述生成方法

• 作者: 田枫 孙小强 刘芳 李婷玉 张蕾 刘志刚
• 来源期刊: 计算机系统应用
• 关键词: 图像描述 图像理解 图像中文描述 注意力机制 图像多标签
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 专论·综述|Special Issue
• 页码范围: 32-40
• 页数: 9页
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.008010

摘要

图像描述是目前图像理解领域的研究热点. 针对图像中文描述句子质量不高的问题, 本文提出融合双注意力与多标签的图像中文描述生成方法. 本文方法首先提取输入图像的视觉特征与多标签文本, 然后利用多标签文本增强解码器的隐藏状态与视觉特征的关联度, 根据解码器的隐藏状态对视觉特征分配注意力权重, 并将加权后的视觉特征解码为词语, 最后将词语按时序输出得到中文描述句子. 在图像中文描述数据集Flickr8k-CN、COCO-CN上的实验表明, 本文提出的模型有效地提升了描述句子质量.