图像语义相似性网络的文本描述方法

• 作者: 刘畅 周向东 施伯乐
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 图像文本化描述 递归神经网络 语义相似性 语言模型 语义鸿沟 束搜索
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 图像处理与应用
• 页码范围: 211-216,231
• 页数: 7页
• 分类号: TP3
• 字数: 5087字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.01.037

摘要

图像的文本化描述解决图像理解的高级语义问题.由于存在语义鸿沟,导致自动生成的文本与图像内容有较大差异,浅层神经网络构建的语言模型很难生成通顺的语句.为此,提出图像语义相似性神经网络,在递归神经网络的输出层之后添加全连接网络,引入图像间的视觉相似性和文本相似性信息,从而在预测图像的文本描述时保持相似图像的有效语义信息.增加栈式隐层和普通隐层的深度来提高语言模型的学习能力,最终得到接近自然语言的文本.实验结果表明,该方法在BLEU、ROUGE、METEOR和CIDEr等评价指标上均取得较好的效果,能够生成符合图像内容的高质量文本描述.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	施伯乐	复旦大学计算机科学技术学院	188	4414	33.0	61.0
2	刘畅	复旦大学计算机科学技术学院	37	161	7.0	12.0
3	周向东	复旦大学计算机科学技术学院	35	323	10.0	17.0