自然场景图像去雨的可学习混合MAP网络

• 作者: 刘日升 姜智颖 李豪杰 樊鑫 王怡洋 马龙
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 图像去雨 可学习混合MAP网络 最大后验估计 高斯混合模型 残差网络
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 2017中国多媒体大会会议专栏
• 页码范围: 277-285
• 页数: 9页
• 分类号: TP391
• 字数: 6985字
• 语种: 中文
• DOI: 10.11834/jig.170390

摘要

目的 近年来,人工智能成为新兴研究领域,得到越来越多研究机构的关注.图像恢复问题一直是低层次计算机视觉领域的一个研究热点,其中,图像去雨由于其雨线分布的未知性及其求解的病态性,导致难以解决.现有方法存在雨线和背景之间的估计具有依赖性,难以平衡雨线去除效果与估计背景的清晰程度之间的关系;局限性比较大,训练数据很难涵盖各种场景下的雨图,而测试结果受训练数据的影响,导致难于泛化.针对上述不足,借鉴一般图像恢复问题思路,将模型与以数据驱动的网络相结合,凸显网络与模型各自的优势,提出可学习的混合MAP网络有效地解决图像去雨问题.方法 首先基于最大后验估计(MAP)建立含有隐式先验的能量模型,然后通过优化算法将模型分解为背景估计模型和雨线估计模型两部分,以减少背景估计和雨线估计之间的依赖性.对于背景估计模型,通过对模型及优化目标分析采用以数据驱动的去噪残差网络进行建模,保证估计出的背景更清晰;对于雨线估计模型,为避免直接对未知的雨线建模失去准确性,利用高斯混合模型实时刻画输入雨图的雨线先验.结果 在合成数据集Rain12及真实雨图上进行实验,通过综合考虑定量分析和定性分析,并与3种基于模型的方法及两种基于深度网络的方法相比,本文方法在去除雨线的同时能够损失的背景信息最少,合成数据集上的平均结构相似性(SSIM)值达到0.92.结论 本文通过将基于模型的方法与基于深度网络的方法相结合,既去除了雨线又保证了估计背景的清晰程度,同时也验证了将传统模型与深度网络相结合是一种解决图像恢复问题的有效途径.