Hydra-0：通用世界建模和控制的行动流程

我们引入 Hydra-0，这是一种以动作流为条件的通用世界模型，它将机器人动作表示为像素运动。这种共享的视觉界面通过学习跨实施例、任务、环境和视频生成主干的动作结果来实现通用的世界建模和控制。与我们的动作条件基线相比，我们的最佳配置实现了机器人运动误差降低 90.4% 和物体运动误差降低 60.2%，同时支持零镜头合成和数据高效适应。在 RoboLab 基准测试中，Hydra-0 在重放成功率和参考成功率之间实现了 r=0.96 的皮尔逊相关性。最后，我们发现了该界面的一种新兴逆模式：一种世界动作模型，可以根据从人类演示中传输的所需对象流来预测兼容的机器人运动。经过训练的动作头将产生的潜在特征映射到可执行动作，而不需要特定于任务的专家机器人演示。总之，这些结果证明了动作流作为连接异构训练数据、开环策略评估和机器人控制的共享控制接口的潜力。