通过多视图基础模型的统一全景几何估计

基于透视图像的几何估计已经取得了很大进展，已经成熟到现成的基础模型不仅能够从多视图图像甚至从单个视图重建 3D 场景结构。一个自然的延伸是全景图的 3D 重建，具有从单个全景图像恢复完整 360 度场景的令人兴奋的前景。在这项工作中，我们介绍了 PaGeR（全景几何重建），这是一个框架，用于将专为透视图像设计的强大 3D 基础模型提升到全景领域。我们的策略是从用于 3D 重建的预训练 Transformer 开始，并将其转变为统一的高性能模型，该模型可以在一次前向传递中从透视和全向图像预测尺度不变深度、度量深度、表面法线和天空掩模。通过在训练期间将架构变化保持在最低限度并混合透视和全景图像，PaGeR 保留了底层基础模型的丰富 3D 先验，同时学习从单个全景图中估计几何一致的 360 度场景。我们在室内和室外环境中广泛测试了我们的方法，发现它在各种场景中提供了最先进的性能和出色的零镜头性能。代码、数据和模型可在 $\href{https://github.com/prs-eth/PaGeR}{\text{here}}$ 获取。