基于多特征融合的细粒度视频人物关系抽取

• 作者: 吕金娜 邢春玉 李莉
• 来源期刊: 计算机科学
• 关键词: 视频分析 人物关系识别 关系抽取 深度学习 多特征融合
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 计算机图形学&多媒体|Computer Graphics & Multimedia
• 页码范围: 117-122
• 页数: 6页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11896/jsjkx.200800160

摘要

视频人物关系抽取是信息抽取问题中的重要任务,在视频描述、视频检索,以及人物搜索、公安监察等方面具有重要价值.由于视频数据的底层像素与高层关系语义之间存在巨大的鸿沟,现有方法很难准确地抽取人物关系.现有研究大多通过粗粒度地分析人物共现等因素来抽取人物关系,忽略了具有丰富语义的视频中的细粒度信息.为解决现有算法难以准确、完整地抽取视频人物关系的问题,文中提出了一种基于多特征融合的细粒度视频人物关系抽取方法.首先,为了准确识别视频人物实体,提出了一种基于多特征融合的人物实体识别模型;然后,提出了一种基于细粒度特征的人物关系识别模型,该模型不仅融合了视频中人物的时空特征,而且考虑了与人物相关的细粒度物体信息特征,从而建立更好的映射关系来准确识别人物关系.以电影视频数据和SRIV人物关系识别数据集为实验数据,实验结果验证了该模型的有效性和准确性,与现有同类模型相比,所提模型的人物实体识别F1值提高了约14.4％,人物关系识别的准确率提高了约10.1％.