EmbodiedSWE：长视野灵巧机器人的编码代理

我们研究用于长视野、灵巧机器人的编码代理，并询问它们的解决方案是否可以为学习通用机器人策略提供可扩展的监督。为了测试这一点，我们开发了 EMBODIEDSWE-BENCH，这是一个模拟基准，用于编码代理，涵盖丰富的接触操作、可变形物体以及需要长达半小时连续交互的长视野任务。我们发现前沿编码代理可以解决复杂的长期任务，并跨任务和实施例转移先前的解决方案。我们还设计了支持工具来帮助代理更有效地解决这些任务。然而，最终的解决方案需要大量的迭代交互，并且通常专门针对单个任务实例。因此，我们引入了 EMBODIEDSWE-GEN，它将单一解决方案从编码代理扩展到用于训练 VLA 的大型多样化轨迹。 VLA 性能随着生成的演示的增多而提高，代理辅助的多样化提高了对保留任务变化的泛化能力。我们还表明，仅根据编码代理生成的模拟演示进行微调的 VLA 可以在真实机器人上完成长期任务。总之，我们的框架使用编码代理来解决复杂的机器人任务，并将经过验证的解决方案转化为可扩展的机器人策略监督。