Edge-guided GAN:边界信息引导的深度图像修复

• 作者: 刘坤华 王雪辉 谢玉婷 胡坚耀
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 生成对抗网络 深度图像修复方法 Edge-guided GAN 边界信息 Apollo scape数据集
• 年，卷（期）: 2021,（1）
• 所属期刊栏目: 自动驾驶场景感知与仿真
• 页码范围: 186-197
• 页数: 12页
• 分类号: TP391
• 语种: 中文

摘要

目的 目前大多数深度图像修复方法可分为两类:色彩图像引导的方法和单个深度图像修复方法.色彩图像引导的方法利用色彩图像真值,或其上一帧、下一帧提供的信息来修复深度图像.若缺少相应信息,这类方法是无效的.单个深度图像修复方法可以修复数据缺失较少的深度图像.但是,无法修复带有孔洞(数据缺失较大)的深度图像.为解决以上问题,本文将生成对抗网络(generative adversarial network,GAN)应用于深度图像修复领域,提出了一种基于GAN的单个深度图像修复方法,即Edge-guided GAN.方法 首先,通过Canny算法获得待修复深度图像的边界图像,并将此两个单通道图像(待修复深度图像和边界图像)合并成一个2通道数据;其次,设计Edge-guided GAN高性能的生成器、判别器和损失函数,将此2通道数据作为生成器的输入,训练生成器,以生成器生成的深度图像(假值)和深度图像真值为判别器的输入,训练判别器;最终得到深度图像修复模型,完成深度图像修复.结果 在Apollo scape数据集上与其他4种常用的GAN、不带边界信息的Edge-guided GAN进行实验分析.在输入尺寸为256 × 256像素,掩膜尺寸为32 ×32像素情况下,Edge-guided GAN的峰值信噪比(peak signal-to-noise ratio,PSN)比性能第2的模型提高了15.76％;在掩膜尺寸为64 × 64像素情况下,Edge-guided GAN的PSNR比性能第2的模型提高了18.64％.结论 Edge-guided GAN以待修复深度图像的边界信息为其修复的约束条件,有效地提取了待修复深度图像特征,大幅度地提高了深度图像修复的精度.