探索、执行、发展：实体Agent的技能获取和重用循环

视觉-语言-动作和世界-动作模型已经在机器人技术中展示了令人印象深刻的能力，但对看不见的任务的泛化仍然具有挑战性。最近，通用多模态Agent在零样本机器人任务解决方面表现出了巨大的潜力。然而，他们从头开始推理和探索物理世界往往会产生高昂的执行成本。为了降低这些成本，我们引入了 RoboSkill，这是一个通过探索、执行、进化循环连接技能获取和重用的框架。在此循环中，Agent探索收集任务相关信息，在适应反馈的同时执行任务，并根据执行记录发展其技能库。然后，它会重用这些技能来指导下一个周期的探索和执行，从而关闭循环。为了提高循环效率，我们通过触觉反馈补充视觉，以减少物理交互过程中的不确定性。我们通过可重用的代码进一步增强文本指导，以减少技能重用期间的推理开销。在 LIBERO-10 上，RoboSkill 将四个Agent的第一阶段成功率提高了 12.5--25.0 个百分点，并将平均运行时间减少了 7.6--72.4%。在真实的机器人上，它可以将成功率提高 8.3 个百分点，并将成功试验的平均运行时间缩短至少 14.4%。