论文
Prior-SG:任意结构环境中场景图的任务和先验驱动区域分割
Prior-SG: Task and Prior Driven Region Segmentation for Scene Graphs in Arbitrarily-Structured Environments
摘要
分层 3D 场景图是自主移动平台中高级空间推理的一种有前途的表示形式。然而,现有的提取框架通常依赖于纯粹的局部视觉聚类或严格的几何启发式,例如墙壁分隔的房间,这在开放式或任意结构的环境中会失败。我们提出了 Prior-SG,一个任务和先验驱动的框架,它将场景图生成从根本上视为概率对齐问题。当机器人探索时,它利用多尺度、开放词汇特征融合策略不断地将传入的 RGB-D 传感器流聚合成与物理环境对齐的实例图。然后,系统在先验图(由 大语言模型 动态合成的环境结构和任务相关词汇的逻辑期望)的指导下,通过最大后验 (MAP) 估计来推断该图的高级功能语义。通过优化将异构专家(视觉、几何和离散对象)与这些拓扑先验融合的马尔可夫随机场,系统解决了局部感知模糊性。我们在不同的模拟住宅数据集和大型开放式现实环境中验证了这种方法。与最近的基线相比,Prior-SG 实现了最先进的语义区域分割精度,在没有物理墙的情况下稳健地描绘了遥远的功能边界,并独特地提供了零样本本体灵活性,使机器人能够根据给定的高级任务完全重构其空间分区。