论文

ObsGraph:用于具体推理和探索的分层观察表示

ObsGraph: Hierarchical Observation Representation for Embodied Reasoning and Exploration

上下文与知识知识图谱

摘要

具身推理和探索越来越被认为是在复杂和陌生环境中运行的机器人的关键能力。为了在此类设置中完成任务,智能体必须通过探索来识别并获取任务所需的信息。我们提出了 ObsGraph,一种以观察为中心的分层场景图,它统一了场景表示、检索和探索。它保留视觉证据并将其组织成房间-视图-对象层:房间提供粗略的语义锚,视图保留上下文对象的共可见性,对象存储细粒度的细节。在此表示之上,我们在有限的预算下执行从粗到细的分层检索,并关键地使用检索结果来构建探索候选空间——激活房间级探索、视图细化或前沿探索——从而紧密耦合表示、检索和自适应多尺度探索。跨具体推理和探索基准的实验证明了成功和效率的提高,突出了结构化场景表示和由已识别的证据差距驱动的更有针对性的信息收集的好处。