使用开放视觉语言模型进行空间 QA 和导航的二进制跟踪

这项工作解决了服务机器人穿越长距离自我中心路线的空间问题回答问题。给出诸如“回家路上在哪里可以找到干洗店？”之类的查询，系统会返回下游导航组件可以执行操作的公制坐标。先前的空间问答方法利用基于 GPT-4o 等闭源模型构建的检索增强代理来进行路径探索。然而，由于网络不稳定、通信延迟和部署成本，在现实世界中运行的机器人通常无法可靠地依赖在线闭源模型。它产生了对可以在机器人上运行的基于开源的空间问答方法的需求，但之前在这个方向上的研究仍然有限。这项工作提出了 BinTrack，这是一种简单但有效、完全开源的空间定位代理，它利用机器人轨迹的时间顺序。 BinTrack 对从查询中识别的两个锚点地标之间的轨迹段执行二分搜索。与其他开源实现相比，它的整体准确性提高了 22.8%，甚至与 SpaceLocQA 基准的全局类别中报告的闭源模型结果相匹配，这是迄今为止最具挑战性的设置，需要强大的推理代理（例如 GPT-4o）。此外，其优化的推理策略始终比以前的方法产生超过 1.5 倍的推理加速。最后，这项工作发布了 GangnamLoop，这是一种新颖实用的多行程户外基准测试，通过在公共街道上部署真实的四足机器人并采用匿名策略来收集。它会在不同的户外条件下重新访问相同的位置，并将机器人的低视角与人类主人的视角配对。源代码和数据集可在 https://github.com/ndb796/BinaryTracking 上公开获取