使用事件相机进行多视点地理定位

机器人定位是一项持续的挑战，需要能够容忍视角变化的地图和定位系统。事件摄像机引起了机器人技术越来越多的兴趣和采用；然而，在现有的基于事件的定位器中，处理视点方差是一个尚未得到充分研究的问题。此外，强调具有挑战性的定位情况的视点方差的基于事件的数据集很少。在这里，我们介绍了一种基于事件的视觉位置识别（VPR）系统，该系统在视点变化下表现稳健。我们使用图像到事件（I2E）转换将五个大型地理标记数据集（通常用于训练基于帧的定位系统）转换为合成事件流，并使用它们通过多重损失函数微调预先训练的基于事件的视觉变换器主干，产生一个我们称为 MegaEvent 的系统，该系统可以学习用于位置识别的视点鲁棒性特征。我们在三个现有的基于事件的定位数据集上实现了 82% 的平均 Recall@1，领先第二佳的基于事件的方法 20 个召回点，并且直接应用于事件帧的基于帧的 VPR 模型领先 8 到 26 个召回点。我们引入了一个新的、具有挑战性的数据集 - Springfield-Event-VPR - 它具有在三个摄像机方向记录的 3.7 公里步行路线，总共 11.1 公里，MegaEvent 比最强基线高出 9 个召回点。 MegaEvent 的代码可从此 https URL 获取。