融合卷积注意力机制的图像描述生成模型

• 作者: 游亚东 赵朋 黄友文
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 图像描述 卷积神经网络 自然语言处理 长短期记忆神经网络 卷积注意力机制
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 人工智能
• 页码范围: 23-27
• 页数: 5页
• 分类号: TP391
• 字数: 4697字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2019050943

摘要

图像描述模型需要提取出图像中的特征,然后通过自然语言处理(NLP)技术将特征用语句表达出来.现有的基于卷积神经网络(CNN)和循环神经网络(RNN)搭建的图像描述模型在提取图像关键信息时精度不高且训练速度缓慢.针对这个问题,提出了一种基于卷积注意力机制和长短期记忆(LSTM)网络的图像描述生成模型.采用Inception-ResNet-V2作为特征提取网络,在注意力机制中引入全卷积操作替代传统的全连接操作,减少了模型参数的数量.将图像特征与文本特征有效融合后送入LSTM单元中完成训练,最终产生描述图像内容的语义信息.模型采用MSCOCO数据集进行训练,使用多种评价指标(BLEU-1、BLEU-4、METEOR、CIDEr等)对模型进行验证.实验结果表明,提出的模型能够对图像内容进行准确描述,在多种评价指标上均优于基于传统注意力机制的方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄友文	江西理工大学信息工程学院	15	31	3.0	5.0
2	赵朋	江西理工大学信息工程学院	2	0	0.0	0.0
3	游亚东	江西理工大学信息工程学院	2	0	0.0	0.0