RoboJEPA：机器人潜在世界模型的规模扩展

潜在世界模型显示出预测未来状态和在现实世界中进行规划的非凡能力。然而，在实践中，我们缺乏一种原则性的方法来估计它们的能力如何随着模型大小、数据和计算而扩展，这是一个减缓该领域进展的开放性问题。在这项工作中，我们提出了 RoboJEPA，这是一个基于联合嵌入预测架构 (JEPA) 的世界模型，并在涵盖 12 个机器人实施例的大规模数据集上进行了训练。我们证明了 RoboJEPA 的想象误差，即其潜在Rollout的误差，在计算中遵循二阶幂律，这使我们能够预测模型质量，远远超出该定律适用的范围。我们进一步表明，下游机器人规划性能通过计算可预测地提高，并且想象力误差与其密切相关，使其成为真实机器人评估的可靠代理。最后，我们证明潜在世界模型可以作为机器人代理进行零样本部署，规划单个目标图像来解决需要在真实硬件上进行长期规划的任务。我们发布所有模型检查点以及我们的训练和机器人部署代码。据我们所知，这是第一项为基于真实机器人数据训练的多实施机器人世界模型建立缩放定律的工作，而 RoboJEPA 的 8B 参数是迄今为止训练的最大的 JEPA 预测器模型。