论文
框架:人形机车操作的故障恢复和具体技能监控
FRAMES: Failure Recovery And Monitoring of Embodied Skills for Humanoid Loco-Manipulation
摘要
大型语言模型(LLM)规划者可以分解自然语言指令并选择可重用的机器人技能,但选择正确的技能并不能保证物理执行的成功。这种差距在人形机器人操纵中尤其重要,其中接近、抓取、运输或放置过程中的错误可能会使长期计划的其余部分失效。我们提出了 FRAMES,这是一种针对 Unitree G1 人形机器人的故障感知监管框架,在 CEER 全身控制器之上运行。规划智能体通过参数化的中级技能选择子任务,而基于视觉语言模型的监控智能体则使用时间多视图观察以及结构化机器人和接触证据来评估每项技能。检测到的故障会停止主动技能并向恢复代理提供可靠的反馈。该框架还包括用于重用先前技能经验的存储模块,以及通过深度和分段进行的几何基础。我们使用 100 次试验独立评估 MuJoCo 中框架的监控模块,其中包括五个任务中 50 次失败和 50 次成功执行。监视器检测到 50 次失败中的 48 次,正确接受 50 次成功执行中的 46 次,总体准确率达到 94.0%。这些结果为监测部分提供了初步证据,同时对完整恢复循环的端到端评估仍在继续。