论文
向上看和向后看:全景 SLAM 的冻结基础模型中的隐藏注意力和潜在方向
Look Up and Look Back: Hidden Attention and Latent Orientation in a Frozen Foundation Model for Panoramic SLAM
摘要
单目全景 SLAM 受益于相机大旋转下的大量视觉重叠,但仍然容易出现由相机倾斜、尺度漂移和错误闭环引起的错误。我们表明,冻结的全景几何基础模型提供了超出其显式几何输出的有用的内部线索:中间标记对相机框架中的重力进行编码,而交叉视图注意力为潜在的重访提供了兼容性线索。基于这些线索,我们推出了 HALO-SLAM。重力读数可实现无 IMU 的球形直立标准化。对于循环闭合,我们引入了成本感知的三阶段级联,结合了 DBoW2 事件级检索、基于注意力的兼容性过滤以及通过对称子图增强进行的密集几何验证。接受的重访在两个局部量规中产生像素对齐的 3D--3D 对应关系,从中估计稳健的 $\mathrm{Sim}(3)$ 约束,并与全局位姿图中的顺序约束联合优化。在来自五个真实世界全景基准的 125 个序列中,我们的方法在规定的标准下实现了 \textbf{100\%} 序列成功 (\textbf{125/125}),并且是所有五个基准上的评估方法中最低的 ATE,相对于每个基准上的最佳 ERP 原生基准,将 ATE 减少了 \textbf{30--88\%}。