结合视觉显著性与眼跳概率模型的视频注视点序列预测

• 作者: 冯辉 王祺尧 罗灵兵 胡波
• 来源期刊: 复旦学报（自然科学版）
• 学科: 工学
• 关键词: 注视点序列 隐马尔可夫模型 视觉显著性 卷积神经网络
• 年，卷（期）: 2019,（4）
• 页码范围: 407-415
• 页数: 9页
• 分类号: TP391.4
• 字数: 7236字
• 语种: 中文

摘要

视觉注意力相关研究中,基于图像的视觉显著图预测研究较多,而针对视频的注视点序列预测研究相对较少.在充分考虑视频场景的动态特征与人眼视觉特性基础上,提出了一种同时利用视频底层与高层特征的注视点序列预测模型.使用隐马尔可夫模型(HMM)对注视点的转移序列进行建模,其中注视点的位置作为隐藏状态.首先,采用卷积神经网络(CNN)获得视频的视觉显著图,并将视频帧的显著值作为HMM的观测概率,表征注视点所在区域所能成功引起人视觉注意的程度;然后,使用视觉心理学中基于莱维飞行的眼跳概率模型对HMM状态的转移概率进行建模;最后,通过维特比算法推断整个视频最有可能产生的注视点序列.在HOLLYWOOD2数据集上进行视频的注视点序列预测实验,并和相关算法进行比较.实验结果表明:本文提出的模型的预测结果在Hausdorff距离与平均欧氏距离两项指标上都更优.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡波	复旦大学信息科学与工程学院电子工程系	159	1370	19.0	32.0
5	冯辉	复旦大学信息科学与工程学院电子工程系	47	462	7.0	20.0
9	罗灵兵	复旦大学信息科学与工程学院电子工程系	4	5	1.0	2.0
13	王祺尧	复旦大学信息科学与工程学院电子工程系	4	5	1.0	2.0