基于注意力机制的多层次编码和解码的图像描述模型

• 作者: 李康康 张静
• 来源期刊: 计算机应用
• 关键词: 图像描述 卷积神经网络 长短期记忆网络 多层次编码 多层次解码 注意力机制
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 人工智能|Artificial intelligence
• 页码范围: 2504-2509
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2020111838

摘要

图像描述任务是图像理解的一个重要分支,它不仅要求能够正确识别图像的内容,还要求能够生成在语法和语义上正确的句子.传统的基于编码器-解码器的模型不能充分利用图像特征并且解码方式单一.针对这些问题,提出一种基于注意力机制的多层次编码和解码的图像描述模型.首先使用Faster R-CNN(Faster Region-based Convolutional Neural Network)提取图像特征,然后采用Transformer提取图像的3种高层次特征,并利用金字塔型的融合方式对特征进行有效融合,最后构建3个长短期记忆(LSTM)网络对不同层次特征进行层次化解码.在解码部分,利用软注意力机制使得模型能够关注当前步骤所需要的重要信息.在MSCOCO大型数据集上进行实验,利用多种指标(BLEU、METEOR、ROUGE-L、CIDEr)对模型进行评价,该模型在指标BLEU-4、METEOR和CIDEr上相较于Recall(Recall what you see)模型分别提升了2.5个百分点、2.6个百分点和8.8个百分点;相较于HAF(Hierarchical Attention-based Fusion)模型分别提升了1.2个百分点、0.5个百分点和3.5个百分点.此外,通过可视化生成的描述语句可以看出,所提出模型所生成的描述语句能够准确反映图像内容.