全局与局部属性一致的图像修复模型

• 作者: 孙劲光 杨忠伟 黄胜
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 图像修复 全卷积神经网络 扩张卷积 跳跃连接 对抗式损失
• 年，卷（期）: 2020,（12）
• 所属期刊栏目: 图像处理和编码
• 页码范围: 2505-2516
• 页数: 12页
• 分类号: TP391.4
• 语种: 中文

摘要

目的 图像修复是计算机视觉领域的研究热点之一.基于深度学习的图像修复方法取得了一定成绩,但在处理全局与局部属性联系密切的图像时难以获得理想效果,尤其在修复较大面积图像缺损时,结果的语义合理性、结构连贯性和细节准确性均有待提高.针对上述问题,提出一种基于全卷积网络,结合生成式对抗网络思想的图像修复模型.方法 基于全卷积神经网络,结合跳跃连接、扩张卷积等方法,提出一种新颖的图像修复网络作为生成器修复缺损图像;引入结构相似性(structural similarity,SSIM)作为图像修复的重构损失,从人眼视觉系统的角度监督指导模型学习,提高图像修复效果;使用改进后的全局和局部上下文判别网络作为双路判别器,对修复结果进行真伪判别,同时,结合对抗式损失,提出一种联合损失用于监督模型的训练,使修复区域内容真实自然且与整幅图像具有属性一致性.结果 为验证本文图像修复模型的有效性,在CelebA-HQ数据集上,以主观感受和客观指标为依据,与目前主流的图像修复算法进行图像修复效果对比.结果表明,本文方法在修复结果的语义合理性、结构连贯性以及细节准确性等方面均取得了进步,峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性的均值分别达到31.30 dB和90.58％.结论 本文提出的图像修复模型对图像高级语义有更好的理解,对上下文信息和细节信息把握更精准,能取得更符合人眼视觉感受的图像修复结果.