针对长视频问答的深度记忆融合模型

• 作者: 孙广路 吴猛 邱景 梁丽丽
• 来源期刊: 哈尔滨理工大学学报
• 关键词: 视频问答 长视频理解 记忆网络 注意力机制 多模态融合
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 计算机与控制工程|Computer and Control Engineering
• 页码范围: 1-8
• 页数: 8页
• 分类号: TP391.3
• 语种: 中文
• DOI: 10.15938/j.jhust.2021.01.001

摘要

长视频问答包含丰富的多模态语义信息和推理信息.当前,基于循环神经网络的视频问答模型难以充分保存重要记忆信息、忽略无关冗余信息和实现记忆信息高效融合.针对该问题,依据记忆网络思想,提出一种深度记忆融合模型.本模型利用记忆网络的记忆组件有效保存视频剪辑及其字幕的融合特征,提出一种多模态相似性匹配方法过滤冗余记忆信息.经过卷积网络的初步融合和注意力机制的二次融合,生成整个视频的上下文表示,并进行答案生成.本模型在长视频剪辑MovieQA数据集上进行实验,平均准确率为39.78％,相较传统方法提升近10％且比当前最先进方法提升近5％,准确率提升明显,模型泛化性能好.