融合多标签和双注意力机制的图像语义理解模型

• 作者: 吴倩 应捷 杨海马 胡文凯 黄影平
• 来源期刊: 智能计算机与应用
• 学科: 工学
• 关键词: 图像语义理解 双向长短期记忆网络 视觉属性 注意力机制
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 学术研究与应用
• 页码范围: 12-21
• 页数: 10页
• 分类号: TP391
• 字数: 9202字
• 语种: 中文

摘要

针对现有图像语义理解模型存在描述不充分以及视觉属性冗余的问题,提出了一种带有视觉三元组标签且能够挖掘潜在信息的图像语义理解模型VT-BLSTM.首先,使用卷积神经网络提取图像的全局特征和视觉三元组标签;其次,构建双向长短期神经网络,并利用改进的双注意力模型分别获得动态视觉特征和动态文本特征,融合该两者特征得到视觉语义上下文;最后,融合视觉语义上下文、视觉三元组和神经网络隐含层特征,比较前向和后向长短期神经网络的输出结果,得到对应时刻的单词.在Flickr8K和Flickr30K数据集上的实验结果表明,本文提出的双注意力模型VT-BLSTM能够自主地选择文本特征和视觉特征参与生成单词的比例,并且结合历史时刻和未来时刻获得更丰富的视觉信息,在少量视觉属性的前提下也能生成质量较高的句子,并在多个统计指标上超过同类其他方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	应捷	上海理工大学测试技术与信息工程研究所	37	110	6.0	8.0
2	黄影平	上海理工大学光电信息与计算机工程学院	24	117	5.0	10.0
3	吴倩	上海理工大学光电信息与计算机工程学院	3	20	2.0	3.0
4	胡文凯	上海理工大学光电信息与计算机工程学院	1	0	0.0	0.0