部署实体导航基础模型

我们提出并解决了在执行导航的实体代理上部署基础模型 (FM) 相关的两个问题：1) FM 中的训练偏差导致在看不见的环境中个性化较差，2) 有限的 FM 上下文长度阻碍了成功，尤其是在长期任务中。我们针对前者的解决方案涉及使用从场景中挖掘的人类习惯数据来启动 FM，针对后者的解决方案涉及通过新颖的“记忆头”增强进行主动内存管理。我们首先对基于 FM 的嵌入式导航的现有文献进行分类，并强调这些局限性。然后，我们提出了解决这些限制的方法：交通感知规划 (TAP) 和 MemCtrl。借助 TAP，我们在实验室环境中使用 Turtlebot 展示了真实世界的结果，以进行个性化目标查找，与非 TAP 基线相比，平均提高了 18%。在 MemCtrl 上，我们报告了各种具体任务的平均改进为 6%，长指令子集的平均改进为 20%，同时使用了基线模型中近一半的上下文。受这些结果的激励，我们提出了基于 FM 的实体代理在现实环境中的可部署性的立场，并强调了开放的研究方向。