论文
DSSR-3D:3D 高斯中视图相关引用的解耦推理
DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians
摘要
3D 高斯分布的最新进展通过将 2D 基础模型中的语义知识提炼为 3D 表示,实现了开放词汇和引用分割。然而,现有的指代字段将语言特征嵌入到全局视图不变的空间中,使得它们从根本上无法解决依赖于相机姿势的以观察者为中心的空间关系(例如“左侧”)。我们提出了 DSSR-3D,一种用于连续 3D 高斯场上的视图相关引用分割的推理时间框架,形式化为两个接口 - 姿势不变语义定位和姿势条件空间推理 - 使得满足这些约束的任何函数对都会产生有效的实例化,不需要重新训练底层语义场,也不依赖于离散几何代理(例如边界框)。我们使用温度锐化的 softmax 定位机制和基于投影的方向评分函数实例化这两个接口,通过轻量级、免训练的步骤融合,并表明它们无需适应即可将零样本转移到结构不同的语义领域。我们进一步提出 ViewRef-GS,一种在 3D 高斯场上隔离视图相关分割的基准,与增强的 Ref-LERF 联合评估,为视点相关的空间基础提供全面的测试平台。实验表明,与现有的基于 3DGS 的引用方法相比,无需进行超出基本语义领域的额外训练