Mamba-VGGT：通过外部滑动窗口 Mamba 记忆保持长视频的三维几何一致性

Visual Geometry Grounded Transformer (VGGT) 在高保真 3D 场景重建方面树立了新的基准。然而，随着序列长度的增加，这些模型会遭受灾难性的几何遗忘和累积漂移，这主要是由于全局注意力的二次复杂性导致需要截断时间窗口。为了克服由此产生的几何漂移，我们提出了 Mamba-VGGT，这是一种增强的 VGGT 框架，能够进行持久的远程推理。我们的主要贡献是滑动窗口 Mamba (SWM) 内存模块，它可以跨时间窗口维护显式的外部内存词元。该模块利用选择性状态空间建模来提取和传播全局几何先验，有效地绕过传统 Transformer 的内存限制。为了整合这些长期时间线索而不破坏预先训练的 VGGT 的高度优化的空间特征，我们提出了一种零初始空间内存注入器。该注入器利用零卷积层，自适应地将持久内存融合到补丁词元流中，确保结构稳定性和无缝特征对齐。大量实验表明，我们的方法在保持空间一致性和减少轨迹累积误差方面明显优于现有的基于 VGGT 的方法。我们的工作为广泛的 3D 环境中基于几何的世界建模提供了可扩展的线性复杂度解决方案。