使用视觉语言模型进行循证任务和运动规划

根据自然语言指令执行长视野操作任务的机器人必须推理语义任务结构和几何可行性。然而，在部分可观察性下，目标相关对象的可用性可能是不确定的。在这种情况下，将视觉语言模型 (VLM) 与任务和运动规划 (TAMP) 相结合的方法可能会生成依赖于 VLM 的先验知识而没有观察支持的子目标，从而导致执行失败或意外结果。我们提出了证据获取和可行性门控（EAFG），这是一个通过 VLM 生成的探索性子目标和基于 TAMP 的执行来获取视觉证据的框架。然后，EAFG 应用可行性门来决定是继续进行任务规划、获取进一步的证据还是停止。我们的实验表明，在对象使用不明确的烹饪任务中，EAFG 通过在计划之前发现与任务相关的对象来提高食谱完成度。对于需要不存在对象的指令，EAFG 会促进适当的停止决策并减少操纵该对象的重复尝试。