全卷积神经结构的段落式图像描述算法

• 作者: 冯方向 张光卫 李睿凡 梁昊雨 王小捷
• 来源期刊: 北京邮电大学学报
• 学科: 工学
• 关键词: 卷积网络 深度学习 图像描述 连贯性
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 研究报告
• 页码范围: 155-161
• 页数: 7页
• 分类号: TN309.2
• 语种: 中文
• DOI: 10.13190/j.jbupt.2019-057

摘要

针对段落式图像描述生成研究中提升描述语句之间的连贯性问题,提出了一种基于全卷积结构的图像段落描述算法.采用基于卷积网络的区域检测器获取图像表示,结合段落在语言学角度的层次性,构建一种层次性的深度卷积解码器对图像表示解码,自动生成段落式文本描述.同时将门控机制嵌入卷积解码器网络中,以提升模型的记忆能力.实验结果表明,相比于基于循环神经网络等传统段落图像的描述方法,新算法能够为图像生成更为连贯的段落式文本描述,在评测指标上取得较好的结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王小捷	北京邮电大学计算机学院	35	179	8.0	11.0
3	李睿凡	北京邮电大学计算机学院	12	51	5.0	7.0
7	冯方向	北京邮电大学计算机学院	2	3	1.0	1.0
10	张光卫		9	195	5.0	9.0
12	梁昊雨	北京邮电大学计算机学院	1	0	0.0	0.0