UniWAM：统一的世界行动模型

视觉-语言-动作模型受益于预训练视觉-语言模型的理解和推理能力，但仅动作监督在世界动态中提供的基础有限。相反，世界动作模型继承了视频生成模型的时空先验，但在分布变化下的语义理解和推理仍然受到限制。我们引入了 UniWAM，这是一个集成了物理推理器、世界生成器和动作预测器的统一架构，可以共同学习物理世界的语义理解、视觉生成和动作预测。为了确保训练数据的质量，我们为人类自我中心数据和机器人数据开发了严格的数据清理和注释管道。为了使视觉语言组件适应具体任务，同时保留其继承的语言功能，我们用自然语言表示低级动作，并引入一种预训练方法，将视觉问答（VQA）数据、人类自我中心数据和机器人演示的补充监督分配给适当的模型组件。在后训练，未来视觉噪声增强减少了对精确未来预测的依赖，而历史条件流匹配使用编码的动作历史来初始化动作生成。总之，这些设计在保持性能的同时显着减少了降噪步骤。 UniWAM 在多项评估中实现了最先进的 (SOTA) 性能，包括分布内性能、鲁棒性、泛化性、指令遵循和长期任务执行。此外，我们发现了统一人机协同训练的对数线性缩放定律，证明了对人类和机器人数据混合进行大规模预训练的有效性。