论文

DINO-VO:学习将重点放在哪里以增强状态估计

DINO-VO: Learning Where to Focus for Enhanced State Estimation

应用与实践视觉感知与空间理解

摘要

我们提出了 DINO Patch 视觉里程计(DINO-VO),这是一种具有强大场景泛化能力的端到端单目视觉里程计系统。当前的视觉里程计 (VO) 系统通常依赖于启发式特征提取策略,这可能会降低准确性和鲁棒性,特别是在大规模室外环境中。 DINO-VO 通过将可微分自适应补丁选择器合并到端到端管道中来解决这些限制,提高提取补丁的质量并增强跨不同数据集的泛化。此外,我们的系统集成了多任务特征提取模块和可微分束调整(BA)模块,该模块利用逆深度先验,使系统能够有效地学习和利用外观和几何信息。这种集成弥合了特征学习和状态估计之间的差距。在 TartanAir、KITTI、Euroc 和 TUM 数据集上进行的大量实验表明,DINO-VO 在合成、室内和室外环境中表现出强大的泛化能力,实现了最先进的跟踪精度。