论文
MoWorld：Flash 世界模型
MoWorld: A Flash World Model
摘要
世界模型的未来不仅取决于扩展模型的能力，还取决于扩展的实用性和推理效率。高帧率推理可在现实世界的自主系统中实现响应式感知、规划和控制。为此，我们推出了MoWorld，这是一种经济高效且高性能的Flash世界模型，具有涵盖数据生成、预训练、蒸馏和高效推理的端到端框架，无需高端GPU即可实现高达50 FPS和电影视觉质量的实时交互。为了实现大规模的现实部署，MoWorld 在整个开发流程中共同优化模型能力和成本。具体来说，与主要依赖于大规模视频语料库的现有方法不同，MoWorld 建立在从我们的大规模 3D 视觉和生成建模管道中积累的可扩展 3D 原生数据引擎之上，从而能够在不同的现实世界和合成环境中高效构建几何一致的训练数据。在此基础上，提出了用于稳定且可扩展的世界模型学习的课程跨框架预训练策略、用于降低扩散训练成本的高效去噪步骤蒸馏算法以及用于低成本实时部署的混合精度并行推理框架。 MoWorld是第一个基于神经处理单元（NPU）构建的实时交互式世界模型，在此类设备中可以实现高达50 FPS的速度，从而实现实用且高效的大规模部署。综合评价显示MoWorld业绩领先；值得注意的是，其平均推理成本仅为现有世界模型的30%-50%，为世界模型的大规模实际应用提供了实用基础。我们还展示了MoWorld的多种应用。