融合word2vec和注意力机制的图像描述模型

• 作者: 张宝军 蒋周琴 邓珍荣 黄文明
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 图像描述 word2vec 注意力机制 GRU模型
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 图形图像与模式识别
• 页码范围: 268-273
• 页数: 6页
• 分类号: TP391.41
• 字数: 6170字
• 语种: 中文
• DOI: 10.11896/j.issn.1002-137X.2019.04.042

摘要

针对当前图像描述任务中,生成描述图像的语句整体质量不高的问题,提出一种融合word2vec和注意力机制的图像描述模型.在编码阶段,应用word2vec模型描述文本向量化操作,以增强词与词的相关性;应用VGGNet19网络提取图像特征,并在图像特征中融合注意力机制,使得模型在每一个时间节点上生成单词时能够突出相对应的图像特征.在解码阶段,应用GRU网络作为图像描述任务的语言生成模型,用以提高模型的训练效率和生成句子的质量.在Flickr8k和Flickr30k两个公共数据集上的实验结果表明,在同一训练环境下,GRU模型的训练时长比LSTM模型节省了1/3的时间,在BLEU和METEOR评价标准上,所提模型的性能得到了显著提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄文明	桂林电子科技大学计算机与信息安全学院	80	616	13.0	22.0
3	邓珍荣	桂林电子科技大学计算机与信息安全学院	39	204	8.0	12.0
9	张宝军	桂林电子科技大学计算机与信息安全学院	1	0	0.0	0.0
10	蒋周琴	桂林电子科技大学计算机与信息安全学院	1	0	0.0	0.0