论文

GaussianDS:用于场景理解的深度监督语义高斯泼溅

GaussianDS: Depth-supervised Semantic Gaussian Splatting for Scene Understanding

应用与实践视觉感知与空间理解

摘要

3D Gaussian Splatting 为 3D 重建提供了一种有效的表示,最近的扩展将语义属性附加到高斯上,以实现开放词汇场景理解。然而,将依赖于视图的 2D 基础模型输出提升到 3D 空间会引入跨视图不一致和弱几何基础,从而导致严重的语义漂移和边界泄漏。我们提出了 GaussianDS,一种深度监督的语义 3DGS 框架,它将语义提升视为监督对齐问题,并从头开始联合优化 RGB 外观、渲染深度和紧凑语义。具体来说,GaussianDS 将无序的多视图图像组织成姿势感知伪视频轨迹,以通过 SAM2 传播视图一致的掩模。在联合优化期间,尺度移位对齐的单目深度监督和深度总变化正则化稳定了高斯几何,而深度边缘感知的细化损失明确地将语义转换锚定到物理几何不连续性上。广泛的评估表明,我们的端到端框架不仅保留了高保真 3D 重建和实时渲染,而且还建立了卓越的语义理解。 GaussianDS 通过减少语义泄漏,在 LERF (60.5% mIoU) 和 3D-OVS (97.79% mIoU、90.28% mBIoU) 上设置了新的最先进性能,同时无缝地促进下游 3D 对象删除。