超越相似性匹配:3DGS 中开放词汇引用分割的结构化推理
Beyond Similarity Matching: Structured Reasoning for Open-Vocabulary Referring Segmentation in 3DGS
摘要
3D Gaussian Splatting (3DGS) 中的开放词汇指代分割需要一个神经模型根据自由形式的语言表达来选择高斯基元。现有的基于 3DGS 的方法通常依赖于全局文本区域相似性,这对于涉及属性、参考对象、空间关系和细粒度部分的查询来说很弱。这通常会导致目标引用混乱、粒度不匹配、部分整体泄漏和关系违规。我们提出了 QAGaussian,一种用于语言引导高斯原语选择的查询自适应神经推理框架。 QAGaussian 首先学习查询条件多尺度高斯槽作为可微候选,其感受野由输入表达式决定。然后,它使用语言条件边缘加权构建关系感知槽图,以传播目标引用、属性、部分整体和上下文证据。粒度自适应路由器软性地组合了区域级、对象级、部分级、属性感知和关系感知掩模分支,然后是空间、部分整体、属性和几何一致性的关系约束细化。 QAGaussian 仅在 Mosaic3D-5.6M 上进行高斯文本对齐预训练,并在没有目标数据集 微调 的独立基准上进行评估。平均得分为 47.2。 MIoU 和平均 63.2 F1,比最强的 3DGS 参考基线高出 2.7 mIoU 点和 2.9 F1 点。它还将 Part-mIoU 从 38.6 提高到 43.4,Rel-mIoU 从 44.4 提高到 50.8,并将目标参考混淆从 10.8 降低到 7.4。这些结果表明,查询条件槽学习、关系感知图推理和自适应路由为 3DGS 中的开放词汇引用分割提供了有效的神经建模策略。代码可在 https://github.com/zqeslwyz/QAGaussian 获取。