论文
线索:利用统一语义图自适应优先考虑上下文线索,实现有效的零样本目标目标导航
CLUE: Adaptively Prioritized Contextual Cues by Leveraging a Unified Semantic Map for Effective Zero-Shot Object-Goal Navigation
摘要
零样本目标目标导航(ZSON)是机器人技术中的一个具有挑战性的问题,需要对语言和视觉观察的全面理解。来自房间和物体的上下文线索至关重要,但它们的相对重要性取决于目标:一些物体与特定房间类型密切相关,而其他物体则可以通过附近的同一位置物体更好地预测。现有方法忽视了这种区别,导致探索效率低下且不准确。我们提出了 CLUE,一种新颖的导航框架,它通过利用从离线 大语言模型 (LLM) 中提取的常识知识来自适应地平衡上下文房间和对象的使用。通过使用 LLM 估计目标与房间类型的关联,代理可以优先考虑可预测对象的房间线索和房间关联较弱的对象的对象线索。我们的框架构建了一个统一的语义值图,它集成了两种类型的上下文信息,并根据目标的模糊性进行自适应加权以指导探索。结合多视点验证和基于上下文线索的探索策略,CLUE 实现了稳健且高效的导航。模拟和现实世界部署中的大量实验表明,我们的方法在成功率(SR)和按路径长度加权的成功率(SPL)方面始终优于最先进的基线,证明了其对于现实世界导航任务的有效性和实用性。