论文

DreamX-World 1.0:通用交互式世界模型

DreamX-World 1.0: A General-Purpose Interactive World Model

摘要

DreamX-World 1.0 是一种通用的交互式文本/图像到视频世界模型,用于可控长视野生成。它支持相机导航、重新访问之前观察到的区域以及跨真实感、游戏风格和风格化领域的提示事件。我们的数据引擎结合了相机精确的虚幻引擎渲染、丰富动作的游戏录制以及具有恢复相机几何形状的真实世界视频。对于相机控制,我们引入了 E-PRoPE,这是一种轻量级的投影位置编码变体,它保留了 PRoPE 的投影相机几何形状,同时将相机感知的注意力应用于空间缩减的标记。我们使用因果强迫、DMD 式 蒸馏 和长轨迹生成训练将双向视频生成器转换为几步自回归世界模型。对自生成的长视野上下文进行训练可以使模型暴露于其自己生成的历史记录中,并减少自回归块中积累的样式和颜色漂移。记忆条件场景持久通过基于相机几何的检索来检索早期视图,而残余回收使条件路径对不完美的记忆潜伏不那么敏感。事件指令调整添加了可组合事件控制,强化学习对齐在 蒸馏 后恢复了相机控制和视觉质量。凭借混合精度 DiT 执行、残差重用、75\% 修剪的 VAE 解码和异步管道并行性,DreamX-World 1.0 在 8 个 RTX\,5090 GPU 上达到高达 16\,FPS。在我们的5秒基础评测中,DreamX-World 1.0的相机控制得分为73.75,总体得分为84.76,优于HY-WorldPlay 1.5和LingBot-World的总体得分,后者分别为80.79和80.45。