具有分层认知和情境感知探索的可部署的体现视觉语言导航系统

弥合体现智能和嵌入式部署之间的差距仍然是智能机器人系统中的一个关键挑战，其中感知、推理和规划必须在计算、内存、能量和实时执行的严格约束下运行。在视觉和语言导航（VLN）中，现有方法通常面临推理能力和现实平台上的部署效率之间的权衡。在本文中，我们提出了一种可部署的体现 VLN 系统，该系统在现实世界的机器人上实现了高效率和强大的高级推理。该系统被分解为在不同时间尺度异步运行的快速感知动作层和深度推理层，并通过共享内存层实现它们之间的高效交互。为了支持长视野推理，我们逐步构建紧凑的内存图，并逐步将分解的子图输入视觉语言模型（VLM）。此外，我们通过联合考虑推理结果和候选区域的空间分布，将探索制定为加权旅行修理工问题（WTRP）。模拟和现实环境中的大量实验表明，与现有的 VLN 方法相比，导航成功率和效率得到了提高，同时在资源受限的硬件上保持了实时性能。代码和其他实际实验可在 https://github.com/xukuanHIT/HiCo-Nav 获取。