一种结合多尺度特征图和环型关系推理的场景图生成模型

• 作者: 庄志刚 许青林
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: 场景图生成 多尺度特征图 环型关系推理 卷积神经网络 图像理解
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 计算机图形学&多媒体
• 页码范围: 136-141
• 页数: 6页
• 分类号: TP389.1
• 字数: 6679字
• 语种: 中文
• DOI: 10.11896/jsjkx.190300002

摘要

场景图为描述图像内容的结构图(Graph),其在生成过程中存在两个问题:1)二步式场景图生成方法造成有益信息流失,使得任务难度提高;2)视觉关系长尾分布使得模型发生过拟合、关系推理错误率上升.针对这两个问题,文中提出结合多尺度特征图和环型关系推理的场景图生成模型SGiF(Scene Graph in Features).首先,计算多尺度特征图上的每一特征点存在视觉关系的可能性,并将存在可能性高的特征点特征提取出来;然后,从被提取出的特征中解码得到主宾组合,根据解码结果的类别差异,对结果进行去重,以此得到场景图结构;最后,根据场景图结构检测包含目标关系边在内的环路,将环路上的其他边作为计算调整因子的输入,以该因子调整原关系推理结果,并最终完成场景图的生成.实验设置SGGen和PredCls作为验证项,在大型场景图生成数据集VG(Visual Genome)子集上的实验结果表明,通过使用多尺度特征图,相比二步式基线,SGiF的视觉关系检测命中率提升了7.1％,且通过使用环型关系推理,相比非环型关系推理基线,SGiF的关系推理命中率提升了2.18％,从而证明了SGiF的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	许青林	广东工业大学计算机学院	20	102	5.0	10.0
2	庄志刚	广东工业大学计算机学院	2	0	0.0	0.0