Scal3R：学习高效的多相对姿势查询以实现可扩展的在线 3D 重建

在线 3D 重建模型在长视频上表现不佳。发生这种情况是因为相对于固定的第一帧锚点的回归姿势迫使外推远远超出训练分布。小的漂移累积并放大为严重的几何崩溃。然而，我们观察到每帧深度在整个失败过程中保持稳定。主干的局部几何形状保持不变；只有全局姿势头坏了。受这种解耦的推动，我们引入了 Scal3R。该方法将在线重建重新表述为多参考相对姿态查询。我们使用轻量级的可学习词元，约占参数的 1%，并通过不对称注意力将它们注入到完全冻结的主干中。此设置查询相对于多个过去关键帧的姿势。具有闭环功能的在线位姿图优化系统可抑制长程漂移。 Scal3R 在单个 GPU 上 8 小时内达到收敛。与在线基线相比，KITTI 上的平均 ATE 降低了 60% 以上。它还在 Virtual KITTI、Sintel、TUM-Dynamic、ScanNet 和 7-Scenes 中实现了最先进的性能。项目页面：https://linjohnss.github.io/scal3r/