联合自注意力和循环网络的图像标题生成

• 作者: 王习 张凯 李军辉 孔芳 张熠天
• 来源期刊: 计算机科学
• 关键词: 图像标题 自注意力机制 循环神经网络
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 计算机图形学&多媒体|Computer Graphics & Multimedia
• 页码范围: 157-163
• 页数: 7页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.11896/jsjkx.200300146

摘要

目前大多数图像标题生成模型都是由一个基于卷积神经网络(Convolutional Neural Network,CNN)的图像编码器和一个基于循环神经网络(Recurrent Neural Network,RNN)的标题解码器组成.其中图像编码器用于提取图像的视觉特征,标题解码器基于视觉特征通过注意力机制来生成标题.然而,使用基于注意力机制的RNN的问题在于,解码端虽然可以对图像特征和标题交互的部分进行注意力建模,但是却忽略了标题内部交互作用的自我注意.因此,针对图像标题生成任务,文中提出了一种能同时结合循环网络和自注意力网络优点的模型.该模型一方面能够通过自注意力模型在统一的注意力区域内同时捕获模态内和模态间的相互作用,另一方面又保持了循环网络固有的优点.在MSCOCO数据集上的实验结果表明,CIDEr值从1.135提高到了1.166,所提方法能够有效提升图像标题生成的性能.