FARM：使用关系空间内存查找任何内容

在家庭、仓库和其他对象丰富的环境中运行的机器人需要能够按需查找特定对象实例的内存系统。仅对象级记忆通常是不够的：场景包含许多貌似匹配的对象，用户通过与地标和周围对象的关系来引用目标（例如“飞镖靶下方和海报左侧的高灯”），需要关系空间记忆来支持通过对象的语义、外观和空间谓词进行检索。为了实现这一目标，我们提出了 FARM（使用关系空间记忆查找任何东西），它以 5-10 Hz 的频率实时构建一个紧凑的、开放词汇的、包含几何、视觉语言描述符和观点证据的对象级记忆。在查询时，FARM 使用 VLM 来解析查询并对视觉证据进行评分，同时通过对象符号和关系谓词显式地建立空间约束。 VLM 的这种结构化使用可以实现比帧历史或场景图上下文的端到端推理更准确、更稳健的检索。在跨越 67 个室内和室外场景（范围从 15 到 15,000 m^2）的 44k 语言查询实验中，FARM 将 Recall@5 和 Recall@10 比之前的方法提高了 164% 和 224%，并且最终的 VLM 重新排序阶段将 Accuracy@1 提高了 35%，同时实时运行。我们进一步演示了使用机载传感器和计算在四足机器人上的闭环部署。