时空域上下文学习的视频多帧质量增强方法

• 作者: 丁丹丹 佟骏超 吴熙林
• 来源期刊: 北京航空航天大学学报
• 学科: 工学
• 关键词: 时空域上下文学习 多帧质量增强(MFQE) 卷积神经网络(CNN) 残差学习 预测帧
• 年，卷（期）: 2019,（12）
• 页码范围: 2506-2513
• 页数: 8页
• 分类号: TP391
• 字数: 4879字
• 语种: 中文
• DOI: 10.13700/j.bh.1001-5965.2019.0374

摘要

卷积神经网络(CNN)在视频增强方向取得了巨大的成功.现有的视频增强方法主要在空域探索图像内像素的相关性,忽略了连续帧之间的时域相似性.针对上述问题,提出一种基于时空域上下文学习的多帧质量增强方法(STMVE),即利用当前帧以及相邻多帧图像共同增强当前帧的质量.首先根据时域多帧图像直接预测得到当前帧的预测帧,然后利用预测帧对当前帧进行增强.其中,预测帧通过自适应可分离的卷积神经网络(ASCNN)得到;在后续增强中,设计了一种多帧卷积神经网络(MFCNN),利用早期融合架构来挖掘当前帧及其预测帧的时空域相关性,最终得到增强的当前帧.实验结果表明,所提出的STMVE方法在量化参数值37、32、27、22上,相对于H.265/HEVC,分别获得0.47、0.43、0.38、0.28 dB的性能增益;与多帧质量增强(MFQE)方法相比,平均获得0.17 dB的增益.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	丁丹丹	杭州师范大学信息科学与工程学院	8	18	3.0	4.0
2	吴熙林	杭州师范大学信息科学与工程学院	2	0	0.0	0.0
3	佟骏超	杭州师范大学信息科学与工程学院	4	2	1.0	1.0