基于事件的端到端视觉位置识别弱监督网络架构

• 作者: 孔德磊 方正 李昊佳 侯宽旭 姜俊杰
• 来源期刊: 机器人
• 学科: 工学
• 关键词: 视觉位置识别（VPR） 事件相机 事件脉冲张量（EST） 深度残差网络 三元组排序损失
• 年，卷（期）: 2022,（5）
• 所属期刊栏目: 论文与报告
• 页码范围: 613-625
• 页数: 12页
• 分类号: TP24
• 语种: 中文
• DOI: 10.13973/j.cnki.robot.210303

摘要

传统的视觉位置识别（VPR）方法通常使用基于图像帧的相机，存在剧烈光照变化、快速运动等易导致VPR失败的问题。针对上述问题，本文提出了一种使用事件相机的端到端VPR网络，可以在具有挑战性的环境中实现良好的VPR性能。所提出算法的核心思想是，首先采用事件脉冲张量（EST）体素网格对事件流进行表征，然后利用深度残差网络进行特征提取，最后采用改进的局部聚合描述子向量（VLAD）网络进行特征聚合，最终实现基于事件流的端到端VPR。将该方法在基于事件的驾驶数据集（MVSEC、DDD17）和人工合成的事件流数据集（Oxford RobotCar）上与典型的基于图像帧的视觉位置识别方法进行了比较实验。结果表明，在具有挑战性的场景（例如夜晚场景）中，本文方法的性能优于基于图像帧的视觉位置识别方法，其Recall@1指标提升约6.61%。据我们所知，针对视觉位置识别任务，这是首个直接处理事件流数据的端到端弱监督深度网络架构。