Matrix-Game 3.5：利用图像块记忆增强实时流式交互世界模型

交互式世界模型将视频生成从离线剪辑合成扩展到交互式虚拟世界的持久模拟，从而支持游戏、机器人、实体代理和 XR 中的应用。然而，实现稳定的长视野交互生成仍然具有挑战性，因为模型必须同时保留场景几何形状、动态一致性和相机控制，同时支持实时自回归生成。在 Matrix-Game 3.0 的基础上，我们推出了 Matrix-Game 3.5，如图 1 所示，它通过三项关键改进，将实时交互式世界生成推向几何感知和长视野一致模拟。首先，我们提出了一个统一的几何感知内存框架，其图像块记忆和平铺 PRoPE 组件不引入额外的可学习参数，将显式 三维图像块检索与投影相机调节相结合，以实现几何一致的相机控制和忠实的长视野场景调用。其次，我们引入了一种静态-动态分离的世界表示，它分别对静态场景几何和动态主题进行建模，在整个长视野生成过程中保持几何一致性和主题身份。第三，我们开发了一个两阶段渐进式实时蒸馏框架，通过感知流匹配和基于课程的Self-Rollout DMD将双向扩散模型转换为几步因果生成器，从而实现一分钟的实时交互生成。大量实验表明，MatrixGame 3.5通过涵盖虚幻模拟环境、开放世界游戏和网络视频的统一训练语料，在长视界场景回忆、精确的摄像机控制、主体一致性、提示驱动的世界生成和稳定的实时开放世界交互方面取得了强劲的表现。