学习从行动到世界建模的可迁移动力学先验

我们研究动作条件世界建模作为一种可扩展的方式来学习机器人学习的可转移动力学先验。通过预训练模型来预测动作如何驱动视觉场景演化，生成的世界模型捕获了超越外观级视频生成的可重用交互动态。具体来说，我们在带有真实动作注释的大规模机器人操作数据上预训练了多视图交互式基础扩散世界模型 A2World。我们从两个互补的角度验证了学习到的动态先验。首先，我们将 A2World 改编成任务或场景专用的现实世界模拟器 A2World-sim，其长程预测轨迹通过用世界模型预测轨迹替换真实机器人执行轨迹来支持基于模拟器的策略评估和可扩展的假设分析。其次，从相同的预训练权重开始，我们将 A2World 改编成视频动作联合预测模型 A2World-policy，该模型可以预测视觉和指令条件下的动作。跨模拟基准和真实机器人设置的实验表明，动作条件世界模型预训练产生可转移的动态先验，这有利于以模拟器为中心和以策略为中心的机器人学习。