代理机器人搜索的结构化世界状态推理

长视野机器人搜索必须解决自然语言对异质、不完整且常常模棱两可的证据的影响：文本信息、先前的地图和随时间推移得出的观察结果。核心挑战是在选择目标之前将这些流置于上下文中并决定在哪里收集证据。我们提出了 WORLDS：用于语言引导发现和搜索的世界状态观察和推理，这是一个框架，该框架将推理建立在从地理空间先验初始化并通过感知更新的持久图中。并行推理机维持相互竞争的候选解释，并要求提供证据来区分它们。我们通过多模式审查员收集并处理所要求的观察结果，然后法官选择已用观测证据定位的目标或请求另一次通过。 WORLDS 在所有 5,311 个 CityNav 测试中实现了 51.8% 的导航成功率，这是报告的最高成功率，比之前在仅 OSM 的高分辨率正交协议下发布的最佳成绩高出 15.7 个百分点。在 1,000 个共享片段中，使用相同的模型、先验、传感堆栈和运动预算，它达到了 50.0%，而最强适应基线为 27.9%。审查员基于观察的验​​证为这一成功贡献了 5.9 分，并且在减少推理工作量的情况下，WORLDS 仍然超出了适应的 GeoNav 基线 18.8 分，同时生成的标记更少。我们还在四旋翼飞行器上演示了 WORLDS，它可以根据机载图像飞行生成的传感航路点并根据机载图像定位三个语言指定目标，包括地图上不存在的车辆。