基于一种非成对数据集的图像描述方法

• 作者: 刘惠义 张世康
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: 关联注意力机制 共享嵌入空间 语义对齐 强化学习
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 研究与探讨
• 页码范围: 94-98
• 页数: 5页
• 分类号: TP391.2
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2020.11.018

摘要

为了减少图像描述对成对的图像-描述数据集的依赖,提出了一种在非成对数据集下的图像描述方法.针对初始描述缺乏对图像细节部分的描述和图像语义描述的精度和泛化能力低的问题,使用融合关联注意力机制的语言生成器对初始图像再生成,关联注意力机制能够在语言模型预测每一个单词之前快速地向语言模型提供最有价值的视觉特征来指导单词预测.使用强化学习中的策略梯度方法改造损失函数对语言生成器微调,得到最终描述.实验结果表明,即使不使用成对的图像-描述数据集生成的描述也能准确描述图像内容,语言也更加自然.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘惠义		53	303	8.0	15.0
2	张世康		2	0	0.0	0.0