多尺度相似性迭代查找的可靠双目视差估计

• 作者: 晏敏 王军政 李静
• 来源期刊: 中国图象图形学报
• 学科: 工学
• 关键词: 双目视差估计 遮挡 卷积循环神经网络 深度学习 监督学习
• 年，卷（期）: 2022,（2）
• 所属期刊栏目: 深度估计与三维重建|Depth Estimation & 3D Reconstruction
• 页码范围: 447-460
• 页数: 14页
• 分类号: TP183
• 语种: 中文

摘要

目的 双目视差估计可以实现稠密的深度估计,因而具有重要研究价值.而视差估计和光流估计两个任务之间具有相似性,在两种任务之间可以互相借鉴并启迪新算法.受光流估计高效算法RAFT(recurrent all-pairs field transforms)的启发,本文提出采用单、双边多尺度相似性迭代查找的方法实现高精度的双目视差估计.针对方法在不同区域估计精度和置信度不一致的问题,提出了左右图像视差估计一致性检测提取可靠估计区域的方法.方法 采用金字塔池化模块、跳层连接和残差结构的特征网络提取具有强表征能力的表示向量,采用向量内积表示像素间的相似性,通过平均池化得到多尺度的相似量,第0次迭代集成初始视差量,根据初始视差单方向向左查找多尺度的相似性得到的大视野相似量和上下文3种信息,而其他次迭代集成更新的视差估计量,根据估计视差双向查找多尺度的相似性得到的大视野相似量和上下文3种信息,集成信息通过第0次更新的卷积循环神经网络和其他次更新共享的卷积循环神经网络迭代输出视差的更新量,多次迭代得到最终的视差估计值.之后,通过对输入左、右图像反序和左右翻转估计右图视差,对比左、右图匹配点视差差值的绝对值和给定阈值之差判断视差估计置信度,从而实现可靠区域提取.结果 本文方法在Sceneflow数据集上得到了与先进方法相当的精度,平均误差只有0.84像素,并且推理时间有相对优势,可以和精度之间通过控制迭代次数灵活平衡.可靠区域提取后,Sceneflow数据集上误差进一步减小到了历史最佳值0.21像素,在KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago)双目测试数据集上,估计区域评估指标最优.结论 本文方法对于双目视差估计具有优越性能,可靠区域提取方法能高效提取高精度估计区域,极大地提升了估计区域的可靠性.