CoRef-GS：用于多智能体场景理解的协作参考高斯泼溅

实体机器人的场景理解需要从指定的角度进行以对象和关系为中心的语言查询。虽然局部语义高斯地图可以支持一个代理观察中的这种基础，但协作设置要求这种能力在独立重建的地图对齐和融合后保持有效。在这种情况下，所引用的目标或其上下文地标可能来自另一个代理的观察，而空间关系仍然必须从查询机器人的角度来解释。我们将这个问题表述为融合地图上的协作引用高斯基础，这需要几何可对齐性、实例级语义可比性和视图条件关系推理。现有的语言感知高斯方法主要关注单图查询，而高斯配准方法优化几何或光度对齐，而不保留面向语言基础的语义兼容性。我们提出了 CoRef-GS，一种协作引用高斯分布框架。 CoRef-GS 构造本地开放词汇实例感知高斯图，然后通过几何和语义一致性与跨智能体对齐模块对齐部分重叠的图，并使用视图条件掩模关系图进行查询。我们进一步介绍了 CoQuad-Ref，这是一个涵盖现实世界和模拟室内场景的双四足基准测试。实验表明，在模拟场景上，CoRef-GS 将旋转误差从粗略初始化后的 2.58° 降低到细化后的 0.15°，并将现实世界的参考 mIoU 相对于 ReferSplat 从 52.6% 提高到 68.8%。建立的基准和源代码将在 https://github.com/ruojiruoli17/CoRef-GS.git 公开发布。