Matrix-Game 3.0：具有长视野记忆的实时流式交互世界模型

随着交互式视频生成的进步，扩散模型越来越显示出其作为世界模型的潜力。然而，现有的方法仍然难以同时实现内存支持的长期时间一致性和高分辨率实时生成，限制了它们在现实场景中的适用性。为了解决这个问题，我们推出了 Matrix-Game 3.0，这是一种内存增强的交互式世界模型，专为 720p 实时长视频生成而设计。在 Matrix-Game 2.0 的基础上，我们引入了数据、模型和推理方面的系统改进。首先，我们开发了升级的工业规模无限数据引擎，集成了基于虚幻引擎的合成数据、AAA游戏的大规模自动收集以及真实世界的视频增强，以大规模生成高质量的视频-姿势-动作-提示四元组数据。其次，我们提出了一个长范围一致性的训练框架：通过对预测残差进行建模并在训练期间重新注入不完美的生成帧，基础模型学习自我校正；同时，相机感知的内存检索和注入使基础模型能够实现长水平时空一致性。第三，我们设计了基于分布匹配蒸馏（DMD）的多段自回归蒸馏策略，结合模型量化和VAE解码器剪枝，实现高效的实时推理。实验结果表明，Matrix-Game 3.0 在 5B 模型下在 720p 分辨率下实现了高达 40 FPS 的实时生成，同时在长达一分钟的序列上保持稳定的内存一致性。扩展到 2x14B 模型进一步提高了生成质量、动态性和泛化性。我们的方法为工业规模的可部署世界模型提供了一条实用途径。