从综合先验到世界动作模型的高效模拟到真实迁移

弥合模拟与现实之间的差距是部署学习操纵策略的核心挑战。模拟到真实的学习很有吸引力，因为它可以用可扩展的合成数据取代昂贵的真实机器人演示，但世界动作模型之前尚未被证明可以从模拟转移到真实的机器人操作。我们研究是否可以根据综合先验训练世界动作模型并在现实世界中进行零样本部署。为此，我们以 Cosmos Policy 为基础，这是一种适用于视觉运动控制的视频扩散模型。我们构建具有广泛域随机化的模拟环境，并使用 AnyTask 运动规划管道生成演示。我们使用每个任务 ${\sim}800$ 的合成演示来评估我们在物体提升、抽屉打开和拾取放置任务方面的方法，但没有实际演示。当在 Franka 机器人上进行零射击部署时，我们的策略获得了 35% 的平均成功率。据我们所知，这代表了机器人操作的世界动作模型的首次成功的模拟到现实的转移。