基于运动估计与时空结合的多帧融合去雨网络

• 作者: 孟祥玉 薛昕惟 李汶霖 王祎
• 来源期刊: 计算机科学
• 关键词: 视频去雨 光流 卷积神经网络 视频增强
• 年，卷（期）: 2021,（5）
• 所属期刊栏目: 计算机图形学&多媒体|Computer Graphics & Multimedia
• 页码范围: 170-176
• 页数: 7页
• 分类号: TP391
• 语种: 中文
• DOI: 10.11896/jsjkx.210100104

摘要

降雨天气会导致视觉质量下降,从而影响目标识别和追踪等视觉任务的处理效果.为了减小雨的影响,完成对运动视频背景细节的有效恢复,近年来相关研究者在视频去雨方向提出了很多方法.其中基于卷积神经网络的视频去雨方法使用最为广泛,它们大多采用单帧增强后多帧融合去雨的方式.但由于直接单帧增强使相邻帧之间部分像素的移动无法完成时间维度上的对齐,不能有效实现端到端的训练,因此丢失了大量细节信息,使得最终得到的去雨效果不尽人意.为有效解决上述问题,文中提出了一个基于运动估计与时空结合的多帧融合去雨网络(ME-Derain).首先通过光流估计算法将相邻帧对齐到当前帧来有效利用时间信息;然后引入基于残差连接的编码器-解码器结构,结合与时间相关的注意力增强机制一起构成多帧融合网络来有效融合多帧信息;最后利用空间相关的多尺度增强模块来进一步增强去雨效果和得到最终的去雨视频.在多个数据集上的大量实验结果表明,所提算法优于现阶段大部分视频去雨算法,能够获得更好的去雨效果.