论文

快速 3D 基础模型初始化高斯泼溅

Fast 3D Foundation Model Initialized Gaussian Splatting

应用与实践视觉感知与空间理解

摘要

本文介绍了一种无需传统运动结构 (SfM) 即可进行高质量 3D 高斯分布 (3DGS) 重建的快速方法。所提出的方法利用 3D 基础模型 (3DFM) 进行相机姿态和点云初始化,然后使用深度引导损失函数联合优化相机姿态和高斯基元。即使使用少至 50-60 个输入视图进行粗略初始化,也能实现快速收敛。为了进一步提高稀疏视图场景中的重建质量,引入了基于 MLP 的姿态细化模块以及基础模型的深度引导监督。在 Mip-NeRF 360、Tanks and Temples 和 RobustNeRF 上进行的大量实验表明,所提出的方法实现了有竞争力的重建质量(23.61 dB PSNR,0.19 LPIPS),同时将每个场景的训练时间减少到大约三分钟。所提出的方法可生成现成的 3DGS 模型,所需时间仅为现有流程的一小部分,使其适合机器人、VR 和自主导航中的近实时应用。