面向本征图像分解的高质量渲染数据集与非局部卷积网络

• 作者: 王玉洁 樊庆楠 李坤 陈冬冬 杨敬钰 卢健智 Dani Lischinski 陈宝权
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 图像处理 图像理解 本征图像分解 图卷积网络(GCN) 合成数据集
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 数据集论文|Dataset
• 页码范围: 404-420
• 页数: 17页
• 分类号: TP391
• 语种: 中文

摘要

目的 本征图像分解是计算视觉和图形学领域的一个基本问题,旨在将图像中场景的纹理和光照成分分离开来.基于深度学习的本征图像分解方法受限于现有的数据集,存在分解结果过度平滑、在真实数据泛化能力较差等问题.方法 首先设计基于图卷积的模块,显式地考虑图像中的非局部信息.同时,为了使训练的网络可以处理更复杂的光照情况,渲染了高质量的合成数据集.此外,引入了一个基于神经网络的反照率图像优化模块,提升获得的反照率图像的局部平滑性.结果 将不同方法在所提的数据集上训练,相比之前合成数据集CGIntrinsics进行训练的结果,在IIW(intrinsic images in the wild)测试数据集的平均WHDR(weighted human disagreement rate)降低了7.29％,在SAW(shading annotations in the wild)测试集的AP(average precision)指标上提升了2.74％.同时,所提出的基于图卷积的神经网络,在IIW、SAW数据集上均取得了较好的结果,在视觉结果上显著优于此前的方法.此外,利用本文算法得到的本征结果,在重光照、纹理编辑和光照编辑等图像编辑任务上,取得了更优的结果.结论 所提出的数据集质量更高,有利于基于神经网络的本征分解模型的训练.同时,提出的本征分解模型由于显式地结合了非局部先验,得到了更优的本征分解结果,并通过一系列应用任务进一步验证了结果.