基于残差卷积注意力网络的视频修复

• 作者: 李德财 严群 姚剑敏 林志贤 董泽宇
• 来源期刊: 液晶与显示
• 学科: 工学
• 关键词: 深度学习 视频修复 自注意力机制 残差网络 生成对抗网络
• 年，卷（期）: 2022,（1）
• 所属期刊栏目: 图像处理|Image Processing
• 页码范围: 86-96
• 页数: 11页
• 分类号: TP391.41|TH691.9
• 语种: 中文
• DOI: 10.37188/CJLCD.2021-0196

摘要

视频修复旨在填补视频中的缺失区域,由于很难精确保持修复内容的时空一致性,故视频修复仍具有挑战性.针对现有视频修复中存在的修复结果语义信息不连续,出现视频模糊和时间伪影,以及网络设计越来越复杂,网络整体速度变慢的问题,本文提出了一种基于残差网络的卷积注意力网络(RCAN)用以视频修复.通过将自注意力机制和全局注意力机制引入进残差网络,增强网络对所有输入帧的时空特征的学习能力,并采用时空对抗损失函数进行优化,提高视频修复的质量.同时网络还能够高度自由地定义层数和参数量,提高网络的实际应用能力.实验结果表明,该网络在DAVIS和YouTube-VOS数据集上取得了PSNR为30.68 dB,SSIM为0.961,FID为0.113的平均修复结果,基本符合实际场景对模型的修复质量要求,为视频修复提供了一种新思路.