基于多尺度时域3D卷积的视频超分辨率重建

• 作者: 唐晓天 马骏 李峰 杨雪 梁亮
• 来源期刊: 图学学报
• 学科: 工学
• 关键词: 视频超分辨率 深度学习 3D卷积 多尺度时域特征 亚像素卷积
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 图像处理与计算机视觉|Image Processing and Computer Vision
• 页码范围: 53-59
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11996/JG.j.2095-302X.2022010053

摘要

视频超分辨率是一项很有实用价值的工作.针对超高清产业中高分辨率资源较为匮乏的问题,为了有效利用视频序列帧间丰富的时间相关性信息及空间信息,提出一种基于多尺度时域3D卷积的视频超分辨率重建算法.该算法将输入的低分辨率视频序列帧分别通过不同时间尺度的3D卷积进行时空特征提取,3D卷积能够同时对空间与时间建模,相较于2D卷积更加适用于视频任务的处理,通过不同尺度时域下提取的2种时空特征自适应运动补偿后,由亚像素卷积层执行分辨率的提升并与上采样后的输入帧相加后得到最终重建的高分辨率图像.在标准数据集上的实验结果表明,该算法无论在视觉效果上,还是峰值信噪比与结构相似性等客观质量评价指标上,均有显著地提升,优于FSRCNN和EDSR等算法.