Recova：用于自主机器人操作的Agent引导故障恢复

操作失败可能会使场景处于任务策略无法恢复的状态。学习纠正行为需要可扩展的故障探索和物理基础。我们rollout了 Recova，这是一个Agent引导的框架，可在重建的数字孪生中联合开发任务执行和恢复，然后通过现实世界的经验进行验证和完善。在双胞胎中，Agent诊断故障、测试纠正计划并收集成功的任务和恢复部署以用于单独的策略。在部署期间，它监视进度、调用学习或编程恢复、验证场景恢复并恢复执行。当没有合适的恢复可用时，人工演示会解决故障并进入学习循环，从而使系统能够扩展其恢复能力。实体展示和真人演示均按照 DAgger 训练的相应政策进行。在六种 LIBERO-Pro 设置和四种 MolmoSpaces 类别中，Recova 的平均成功率为 78.8% 和 64.9%，而最强基线的平均成功率为 71.7% 和 38.0%。通过四个真实机器人工作站的并行收集，DAgger 微调将平均成功率从 23.8% 提高到 77.5%，恢复技能进一步将其提高到 87.5%。在一项任务的四轮收集中，观察到的人为干预从 87.5% 下降到 0%。总之，这些结果展示了Agent引导的恢复如何将故障转化为可重用的功能，提高鲁棒性，同时逐步减少人为干预。项目页面：https://www.liuisabella.com/Recova