论文

像人类一样探索:通过在线 SG-Memo 构建实体智能体进行自主探索

Explore Like Humans: Autonomous Exploration with Online SG-Memo Construction for Embodied Agents

上下文与知识记忆Agent记忆

摘要

构建结构化空间记忆对于在复杂的具体导航任务中实现长视野推理至关重要。当前的记忆构建主要依赖于解耦的两阶段范式:智能体首先通过探索聚合环境数据,然后离线重建空间记忆。然而,这种事后和以几何为中心的方法阻止了智能体利用高级语义智能,通常导致它们忽视作为人类认知地图中基本语义锚的导航关键地标(例如门口和楼梯)。为了弥补这一差距,我们提出了 ABot-Explorer,这是一种新颖的主动探索框架,它将内存构建和探索统一到一个在线、仅限 RGB 的过程中。 ABot-Explorer 的核心是利用大型视觉语言模型 (VLM) 来提炼语义导航功能可供性 (SNA),充当认知对齐锚点来指导智能体的运动。通过将这些 SNA 动态集成到分层的 SG-Memo 中,ABot-Explorer 通过优先考虑结构中转节点以促进高效覆盖,从而反映类人的探索逻辑。为了支持这个框架,我们贡献了一个使用 SNA 和 SG-Memo 注释扩展 InteriorGS 的大型数据集。实验结果表明,ABot-Explorer 在探索效率和环境覆盖方面都显着优于当前最先进的方法,而由此产生的 SG-Memo 被证明可以有效支持各种下游任务。