代理作为机器人操作的策略

我们证明，通用代理可以在整个任务执行过程中直接驱动物理机器人，而无需任何特定于任务或特定于环境的训练。我们引入代理即策略（AGP），它将任务规划和执行置于代理的控制之下。给定任务和机器人界面，代理解释视觉证据，编写可执行程序，发出运动命令，并根据物理结果修改其动作。这将智能体的推理和编程能力带入与物理世界的持续交互中。我们研究跨多个现实世界操作任务的 AGP，涵盖精确操作、动态运动和可变形物体。其中包括根据人类视频进行组装、根据目标图像构建方块、掷骰子、有针对性的投掷和双手折叠毛巾。在组装、块构建和掷骰子方面，AGP 在每个评估的任务配置的十次试验中至少成功了八次。我们通过任务经验积累进一步研究效率，发现重用保存的过程和程序可以缩短重复试验的执行时间。这些发现为通用代理充当机器人策略提供了一条途径，通过运行时推理、编程和交互将其自主性扩展到物理操作。