Online3R：基于几何基础模型的一致性顺序重构在线学习

我们提出了Online3R，一种新的顺序重建框架，能够通过在线学习适应新场景，有效解决不一致问题。具体来说，我们将一组可学习的轻量级视觉提示引入到预训练的冻结几何基础模型中，以捕获新环境的知识，同时保留基础模型用于几何预测的基本功能。为了解决测试时更新这些视觉提示时缺失真实值和高效率的问题，我们通过对预测施加局部和全局一致性约束，引入局部全局自监督学习策略。对中间和之前的局部融合结果进行局部一致性约束，使模型能够使用高质量的伪真实信号进行训练；全局一致性约束是在跨越长距离的稀疏关键帧而不是每帧上运行的，从而允许模型以有效的方式从长轨迹上的一致预测中学习。我们的实验表明，Online3R 在各种基准测试中都优于以前最先进的方法。项目页面：https://shunkaizhou.github.io/online3r-1.0/