结合LiDAR与RGB数据构建稠密深度图的多阶段指导网络

• 作者: 贾迪 王子滔 李宇扬 金志楊 刘泽洋 吴思
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 深度估计 深度学习 LiDAR 多模态数据融合 图像处理
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 深度估计与三维重建|Depth Estimation & 3D Reconstruction
• 页码范围: 435-446
• 页数: 12页
• 分类号: TP391
• 语种: 中文

摘要

目的 使用单幅RGB图像引导稀疏激光雷达(light detection and ranging,LiDAR)点云构建稠密深度图已逐渐成为研究热点,然而现有方法在构建场景深度信息时,目标边缘处的深度依然存在模糊的问题,影响3维重建与摄影测量的准确性.为此,本文提出一种基于多阶段指导网络的稠密深度图构建方法.方法 多阶段指导网络由指导信息引导路径和RGB信息引导路径构成.在指导信息引导路径上,通过ERF(efficient residual factorized)网络融合稀疏激光雷达点云和RGB数据提取前期指导信息,采用指导信息处理模块融合稀疏深度和前期指导信息,并将融合后的信息通过双线性插值的方式构建出表面法线,将多模态信息融合指导模块提取的中期指导信息和表面法线信息输入到ERF网络中,提取可用于引导稀疏深度稠密化的后期指导信息,以此构建该路径上的稠密深度图;在RGB信息引导路径上,通过前期指导信息引导融合稀疏深度与RGB信息,通过多模态信息融合指导模块获得该路径上的稠密深度图,采用精细化模块减少该稠密深度图中的误差信息.融合上述两条路径得到的结果,获得最终稠密深度图.结果 通过KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago)深度估计数据集训练多阶段指导网络,将测试数据结果提交到KITTI官方评估服务器,评估指标中,均方根误差值和反演深度的均方根误差分别为768.35和2.40,均低于对比方法,且本文方法在物体边缘和细节处的构建精度更高.结论 本文给出的多阶段指导网络可以更好地提高稠密深度图构建准确率,弥补激光雷达点云稀疏的缺陷,实验结果验证了本文方法的有效性.