VGGT-Bridge：通过粗步跳过边缘超越顺序姿势图

摘要

VGGT 等前馈视觉几何变换器可在单次前向传递中根据图像重建密集的 3D 结构，从而简化多视图 3D 重建。然而，它们的二次注意力复杂性使得它们难以扩展到具有数千帧的长序列。块和对齐框架通过将长序列分割成重叠的块并将其局部重建缝合到姿势图中来解决这个问题。然而现有的方法仅连接顺序相邻的块，因此每帧的小错误沿着链累积成大规模的漂移。为了超越顺序边缘，我们提出了 VGGT-Bridge，它添加了远程跳过边缘，直接约束非相邻块而无需重新训练。通过在稀疏采样的粗块上运行 VGGT，每个粗块将远处的细块桥接到单个直接约束中。我们通过反向馈送选定的粗块，进一步将 VGGT 的第一帧比例偏差转变为漂移校正，并且循环感知的策略使这种反转与现有的循环闭包兼容。与 SwiftVGGT 基线相比，VGGT-Bridge 在 KITTI Odometry 上将 ATE 降低了 28.3%，在 Virtual KITTI 上降低了 18.8%，在 Waymo Open 上降低了 10.0%，在所有分块和对齐方法中实现了最佳性能。

VGGT-Bridge：通过粗步跳过边缘超越顺序姿势图的原论文方法或结果图 — 图 1：先前的方法仅连接顺序相邻的块 ($\mathbf{S}_{1}\!\to\!\mathbf{S}_{2}\!\to\!\cdots$)，因此每帧错误沿着链累积形成大规模漂移。 VGGT-Bridge 插入跳过边（粉色弧线，例如 $\mathbf{S}_{1}\!\to\!\mathbf{S}_{3}$），直接约束块和对齐管道下的非相邻块。关于 KITTI 里程计序列。从 08 开始，这些远程约束将 ATE RMSE 降低至 $47.1$ m。