基于连续Skip-gram及深度学习的图像描述方法

• 作者: 张丽红 曹刘彬
• 来源期刊: 测试技术学报
• 学科: 工学
• 关键词: 深度学习 图像描述生成 Skip-gram 词向量
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 数据采集与图像处理
• 页码范围: 423-427
• 页数: 5页
• 分类号: TP391.4
• 字数: 2588字
• 语种: 中文
• DOI: 10.3969/j.issn.1671-7449.2017.05.009

摘要

图像描述生成依赖于词向量及其质量,为了进一步提高生成图像描述的准确率,本文将连续Skip-gram模型引入生成图像描述的框架中.该框架首先利用连续Skip-gram学习单词的分布式表示,产生高质量的词向量,降低了词向量的计算复杂度,然后利用区域卷积神经网络对图像进行目标检测及特征提取,最后将词向量与图像特征向量分别作为循环神经网络的输入向量以及偏置向量,进而输出图像描述.实验结果表明:与m-RNN模型、Neural Image Caption模型、多模态循环神经网络模型相比较,采用连续Skip-gram模型的图像描述框架提高了图像描述的准确率及该框架的泛化能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张丽红	山西大学物理电子工程学院	44	191	8.0	12.0
2	曹刘彬	山西大学物理电子工程学院	2	2	1.0	1.0