RAVEN：利用视觉时空记忆进行长视野推理和导航

长期的机器人部署需要紧凑且可扩展的内存，以保留细粒度的视觉语义，在空间和时间上进行观察，并实现高效的存储和检索。在本文中，我们提出了 RAVEN，一种用于长视野机器人问答和导航的代理记忆系统。 RAVEN 将带有姿势和时间的视觉嵌入存储在矢量数据库中，并在空间地图中进行地面检索以回答查询并导航到目标。通过直接对视觉嵌入进行操作，RAVEN 避免了有损的图像到文本图像描述，并实现了大规模的准确语义、空间和时间检索。在多个模拟和真实视频问答基准测试中，RAVEN 始终超越基于图像描述的记忆系统，并在长视野任务上与前沿 VLM 相匹配，检索成本低 10 倍。最后，我们在 Unitree Go1 机器人上实例化 RAVEN，用于执行自然语言目标达成的长视距导航任务，并展示了在几个大型室内环境中的成功部署。