用于开放词汇实例导航的对象路径图的拓扑表示

视觉语言导航需要实体代理使用自然语言指令和视觉观察来导航环境。现有的方法通常将导航分解为顺序语言引导的决策，或者依赖于在线探索，而无需事先了解环境知识。场景图表示提供紧凑的语义记忆，但仍然与下游导航分离，下游导航仍然依赖于密集的度量映射。为了弥补这一差距，我们提出了一种对象路径图，它将开放词汇语义推理与拓扑导航相结合。所提出的表示在单个轻量级拓扑框架内联合支持语义基础、基于图的定位和导航。在此图的基础上，我们引入了一种导航策略，通过轻量级节点定位和语义视觉伺服将全局路径规划与本地节点间执行相结合，从而无需密集度量重建即可直接在图上导航。 HM3D 和 Replica 上的实验证明了通过所提出的分层图结构在开放词汇对象基础中的竞争性能，同时实现了有效的导航性能。现实世界的机器人实验进一步验证了所提出框架的实用性。