引入词向量和双注意力机制的图像语义理解

• 作者: 王玉德 董冰
• 来源期刊: 通信技术
• 学科: 工学
• 关键词: 图像语义理解 双注意力机制 长短期记忆网络 词向量
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 信息处理与传输
• 页码范围: 2947-2953
• 页数: 7页
• 分类号: TP391.4
• 语种: 中文
• DOI: 10.3969/j.issn.1002-0802.2020.12.011

摘要

针对图像语义理解任务中如何在单词生成的不同阶段有效地利用图像局部信息和语义信息,提出了一种引入词向量和双注意力机制的图像语义理解算法.该算法采用编码器-解码器结构,利用Resnet-50网络模型提取图像的底层特征,应用输入阶段和输出阶段分别引入了注意力机制的长短期记忆网络实现,图像特征到图像语义的变换,同时在每个解码阶段都引入了表征语义信息的词向量.在MS COCO2014数据库上进行训练和测试,从实验结果可知,提出的算法能更高效地利用图像的局部特征信息和语义信息,生成的图像语义表达更加准确,且BLEU、ROUGE-L等评价指标均有提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王玉德		49	334	11.0	16.0
2	董冰		1	0	0.0	0.0