HAM-VLN：利用分层代理记忆进行零样本视觉和语言导航

视觉和语言导航 (VLN) 使机器人能够在以前未见过的环境中遵循指令。最近，出现了 无需训练 范例：机器人查询多模态 LLM 以了解其观察结果并计划下一步行动。然而，基于图像流或密集地图的长视距导航不可避免地会引入日益增长的内存和推理瓶颈。我们提出了 HAM-VLN，这是一种决策耦合、代理编写的存储器，为机器人配备了持久的、基于深度的世界图。在用于选择下一个操作的同一模型调用中，HAM-VLN 还记录语义和反射信息，包括房间类型、对象、导航进度和故障注释。最近的路径点在有限的窗口内逐字保留，而较旧的历史记录只能通过根据相关性、新近度和显着性进行评分的检索以及一跳拓扑扩展来重新进入上下文。除了每个航路点的决策之外，该设计不需要额外的 LLM 调用。与之前的方法相比，HAM-VLN 不仅改进了各种导航指标，而且还减少了 65% 以上的上下文长度。具体而言，HAM-VLN 在 VLN-CE R2R 上实现了 61.0% 的成功率 (SR)，在 VLN-CE RxR 上实现了 52.7% 的 SR，在 HM3D-v2 ObjectNav 上实现了 79.7% 的 SR，无需任何训练。