论文

ZeroSplat:3D 高斯分布中的广义参考分割

ZeroSplat: Generalized Referring Segmentation in 3D Gaussian Splatting

应用与实践视觉感知与空间理解

摘要

3D 高斯分布 (3DGS) 的最新进展使得语言引导的场景理解成为可能。然而,现有的引用 3D 高斯分布 (R3DGS) 方法从根本上仅限于单目标查询。为了反映现实世界指令的模糊性,我们引入了广义参考 3D 高斯喷射分割 (GR3DGS) 任务,该任务需要动态分割任意数量的目标(0、1 或 $N$)。为了便于全面评估这项新任务,我们构建了两个新的基准:GR-LERF 和 GR-ScanNet。至关重要的是,现有的 R3DGS 范例表现出基本的技术瓶颈,严重限制了它们在 GR3DGS 任务上的性能:它们仅在 2D 渲染像素上操作,缺乏内在的 3D 点级理解,并且由于需要每个场景优化来嵌入大量语义特征,因此会产生过高的计算开销。为了消除这些瓶颈,我们提出了 ZeroSplat,一种新颖的 无需训练 和零特征框架。 ZeroSplat 通过强大的多视图几何约束将 2D 视觉语言模型 (VLM) 先验提升到 3D 空间。这种策略可以实现内在的点级理解,而不需要任何额外的特征存储。大量实验表明,ZeroSplat 在广义和单目标场景中显着优于最先进的方法,同时保持卓越的效率。项目页面:https://inkmind-ai.github.io/ZeroSplat