GroupForward：通过实例分组前馈高斯泼溅构建可参考的 3D 场景

同时重建和理解 3D 环境对于实体代理至关重要。为了实现这一目标，前馈语义 3D 高斯分布 (3DGS) 从稀疏多视图观察中有效地构建语义场景表示。然而，现有方法缺乏明确的实例区分，并且主要支持基于类别或短语的语义查询。为此，我们提出了 GroupForward，一种实例分组前馈高斯泼溅模型，可以从稀疏、未摆设和未校准的多视图图像中重建几何、外观、实例结构和语义。与将高斯语义特征附加到每个高斯的现有方法不同，GroupForward 学习紧凑的实例嵌入，将高斯分组为跨视图一致的 3D 实例，重新构建从每高斯语义特征渲染到实例级语义聚合和传播的前馈语义 3DGS。基于这些实例组，我们进一步提出了用于复杂 3D 引用分割的引用场景推理框架（RSRF）。 RSRF 构建实例分组的 3D 场景图并检索给定引用表达式的候选实例。然后，视觉语言模型对结构化实例证据和多视图观察进行推理，以识别候选者中提到的实例。 RSRF 从而将语言交互从简单的语义查询扩展到复杂的参考场景推理。语义重建和参照推理的实验证明了我们的实例分组重建和推理框架的有效性。