论文

MoonGS:以深度基础表示增强稀疏月面高斯重建

MoonGS: High-quality Representation of the Lunar Surface via Gaussian Splatting Using Robust Depth Features from Image Pairs

应用与实践视觉感知与空间理解

摘要

利用稀疏的月球车图像对月球地形进行高质量 3D 重建对于自主月球探测来说是必不可少的,但由于视点重叠不足、表面纹理薄弱且数据量有限,因此仍然具有挑战性。我们提出了 MoonGS,这是第一个针对月球场景量身定制的前馈 3D 高斯 Splatting 框架。仅给定两个输入图像,MoonGS 在一次前向传递中预测像素对齐的高斯基元,并渲染逼真的新颖视图,而无需任何每个场景的优化。 MoonGS(i)采用适应性强的骨干模型设计,无缝集成先进的视觉基础模型以提取鲁棒的深度特征; (ii) 以两种方式整合语义先验:将语义线索与视觉特征合并以细化高斯参数估计,并采用正则化背景深度的语义排名损失; (iii)采用熵引导的启发式重采样策略,通过以可忽略的开销选择信息最丰富的远处视点来增强稀疏观测。 LuSNAR 基准测试和我们的合成弱纹理 MoonBlender 数据集的实验表明,MoonGS 超越了最先进的前馈 NeRF/3DGS 基线 +4.9 dB PSNR、+0.29 SSIM 和 40\% 的低 LPIPS,同时保持亚秒级推理。此外,我们通过证明我们的框架有效地利用最先进的 骨干模型(包括 VGGT)来显着提高性能,从而验证了我们的框架的广泛适用性。对嫦娥任务图像的定性评估也显示了比较方法中最好的视觉质量,表明真实月球数据的稳健性。源代码和数据集可在 https://github.com/InRobots/MoonBlender. 上公开获取

MoonGS:以深度基础表示增强稀疏月面高斯重建:论文原图
图 2:MoonGS 概述。 MoonGS 根据一对输入图像及其相关语义信息进行前向推理,以获得表示月球表面场景的高斯基元参数。然后,它利用具有已知姿态的相机将这些高斯基元投影到可靠的深度位置上。通过这种显式表示,可以从尚未直接观察到的相机视点渲染图像。