逆戟鲸：世界在你心中

我们介绍 Orca，它是通用世界基础模型的初始实例。 Orca 从多模态世界信号中学习统一的世界潜在空间，并通过多模态读出接口将其公开。我们不是优化孤立的下一词元、下一帧或下一动作预测，而是以下一状态预测建模为中心，提供统一的状态转换建模路线来理解、预测和对世界采取行动。 Orca 通过两种互补的范式进行学习：无意识学习从连续视频中捕获密集的自然状态转换，有意识学习通过语言描述的事件和 VQA 监督来建模稀疏的有意义的状态转换。对于预训练，我们构建了大规模的世界学习库存数据，包括125K小时的视频数据和160M事件注释。在预训练之后，Orca学习了一个统一的世界潜在空间。为了检查学习到的潜在变量是否支持下游，我们通过三个代表性的下游读数来评估它：文本生成、图像预测和具体动作生成。 Orca 的骨干网被冻结，只有轻量级特定于模态的解码器是可训练的。实验证明了所提出的范例的可扩展性，并验证了更强的世界潜在能力可以实现更强的下游读数。 Orca 的性能优于类似大小的专业基线。这些结果表明，Orca 作为通用世界基础模型，提供了一种有前途的理解、预测和作用世界的方法。最后，我们讨论当前的局限性，旨在为社区提供有用的见解和启发。