基于全局和局部信息的视频记忆度预测

• 作者: 王帅 王维莹 金琴 陈师哲
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 视频记忆度 注意力机制 物体检测 神经网络
• 年，卷（期）: 2020,（7）
• 所属期刊栏目: 多媒体内容的多维度相似性计算与搜索专题
• 页码范围: 1969-1979
• 页数: 11页
• 分类号: TP391
• 字数: 8918字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005935

摘要

视频的记忆度是一种度量指标,用来表示一段视频能够普遍被人记住的程度.令人记忆深刻而难忘的视频具有很大的潜在价值,因此对能够进行大规模视频记忆度自动预测的模型将会有广大的应用前景和市场,例如视频检索、数字内容推荐、广告设计、教育系统等等.现有的大部分工作都是直接利用深度神经网络学习到的一个全局表示来进行记忆度的预测,没有给予局部细节足够的重视.提出了一个基于全局和局部信息的视频记忆度预测模型,其中,包含3个模块:全局性的上下文表示模块、空间布局表示模块和局部的物体注意力模块.在实验结果中,全局性的上下文表示模块和局部的物体注意力模块分别具有很好的表现.而空间布局表示模块的预测能力虽不如其他两个模块,但3个模块的融合使结果有了进一步的提升.最后,在MediaEval 2018 Media Memorability PredictionTask的数据集上证明了模型的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王帅	中国人民大学信息学院	47	271	8.0	15.0
2	金琴	中国人民大学信息学院	7	29	3.0	5.0
3	陈师哲	中国人民大学信息学院	5	18	2.0	4.0
4	王维莹	中国人民大学信息学院	1	0	0.0	0.0