结合引导解码和视觉注意力的图像语义描述模型

• 作者: 庞宇 林金朝 马坤阳
• 来源期刊: 计算机应用研究
• 关键词: 图像描述 多示例学习 引导解码 视觉注意力机制
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 图形图像技术
• 页码范围: 3504-3506,3515
• 页数: 4页
• 分类号: TP391.41
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2019.06.0243

摘要

针对输入的图像视觉信息不能在每一步解码过程中动态调整,同时为了提高图像语义描述模型的精度和泛化能力,提出了一种结合引导解码和视觉注意力机制的双层长短时记忆(long short term memory,LSTM)网络的图像语义描述模型.将提取到的图像的视觉和目标特征通过一个引导网络建模后送入LSTM网络的每一时刻,实现端到端的训练过程;同时设计了基于图像通道特征的视觉注意力机制,提高了模型对图像细节部分的描述.利用MSCOCO和Flickr30k数据集对模型进行了训练和测试,结果显示模型性能在不同的评价指标上都得到了提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林金朝		67	381	9.0	18.0
2	庞宇		101	290	8.0	13.0
3	马坤阳		1	0	0.0	0.0