用于单帧环视驾驶重建的视觉几何基础感知高斯

由于摄像机间重叠极小，单帧环视重建面临严重的几何不稳定和渲染伪影。虽然现有方法依赖于复杂的解码器或辅助线索，但它们仍然受到上游特征几何能力较弱的瓶颈。我们认为，利用预先训练的视觉几何先验可以增强上游表示并减轻稀疏环绕视图中的几何模糊性。为此，我们提出了 VGGD，一种用于前馈环视驾驶重建的视觉几何基础感知 3D 高斯泼溅框架，它将几何建模转移到前端，并在驾驶相机设置之前适应基础。首先，VGGD 利用 VGGT 提供可转让的多视图几何先验词元。接下来，我们引入双路径颈部来解耦几何一致和外观感知的表示，从而提高弱观察区域的外观完成度。我们进一步应用尺度预热来稳定早期几何学习并抑制自我姿势变化下的尺度漂移。最后，我们使用混合像素-体积高斯解码器来生成可渲染的 3D 高斯场景，用于新视图合成。 nuScenes 单帧基准测试表明，VGGD 在比较方法中实现了最佳的整体渲染质量，并提高了相对几何一致性。