基于 LLM 的规划中物理动作失败情况下任务继续的按需人工协助

虽然基于 大语言模型 (LLM) 的机器人动作规划取得了显着进步，但在执行过程中物理动作失败后继续执行任务仍然是一个关键挑战。例如，在未能抓住一个物体后，机器人可能不会注意到它从桌子上掉下来，并继续尝试检测并捡起它，从而拖延任务。现有的方法要么依赖闭环自主重新规划，当错误超出机器人的能力时就会失败，要么依赖人工干预而不更新 LLM 的计划，从而阻碍后续规划。我们提出了一种基于 LLM 的机器人动作规划系统，该系统将远程人工干预与基于反馈的重新规划相结合。当LLM检测到动作失败时，机器人请求远程协助；操作员通过远程操作解决故障，并以自然语言报告结果，该结果会反馈到 LLM 以更新其计划，以便任务可以继续进行。我们在现实世界的垃圾收集任务中评估了所提出的系统，并将其与完全自主的方法和仅远程操作的基线进行比较。在本案例研究中，所提出的系统比自主方法提高了任务进度。对于易于检索的垃圾，与远程操作参考的差距很小，而对于难以检索的垃圾，则存在较大的差距。这些结果表明，在本案例研究中，将远程人工干预与基于反馈的重新规划相结合与持续执行任务相关，即使面对不可恢复的故障也是如此。项目网站为https://emergentsystemlabstudent.github.io/REPAIR/。