论文

ProDiG:用于空地重建的渐进扩散引导高斯溅射

ProDiG: Progressive Diffusion-Guided Gaussian Splatting for Aerial to Ground Reconstruction

应用与实践视觉感知与空间理解

摘要

由于极端的视点变化、中间观测缺失和大规模变化,从纯航空图像生成地面视图和连贯的 3D 场地模型具有挑战性。现有方法要么事后完善渲染,通常会产生几何不一致的结果,要么依赖多高度 真值,但这种方法很少可用。高斯泼溅和基于扩散的细化可提高小变化下的保真度,但在宽的空地间隙下会失败。为了解决这些限制,我们引入了 ProDiG(用于空中到地面重建的渐进扩散引导高斯泼溅),这是一种扩散引导框架,可逐步将空中 3D 表示转换为地面保真度。 ProDiG 合成中高度视图,并使用几何感知因果注意模块细化每个阶段的高斯表示,该模块将极结构注入参考视图扩散中。距离自适应高斯模块根据相机距离动态调整高斯比例和不透明度,确保跨大视点间隙的稳定重建。这些组件共同实现了渐进式、几何基础的细化,而不需要额外的 真值 视点。对合成数据集和真实世界数据集的大量实验表明,ProDiG 可以生成视觉上逼真的地面渲染和连贯的 3D 几何图形,在视觉质量、几何一致性和对极端视点变化的鲁棒性方面显着优于现有方法。项目页面:https://sirsh07.github.io/research/prodig