论文

INSPATIO-WORLD:通过时空自回归建模的实时 4D 世界模拟器

INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling

模型架构新型架构

摘要

构建具有空间一致性和实时交互性的世界模型仍然是计算机视觉领域的一个基本挑战。当前的视频生成范式常常面临缺乏空间持久性和视觉真实感不足的问题,使得难以支持复杂环境中的无缝导航。为了应对这些挑战,我们提出了 INSPATIO-WORLD,这是一种新颖的实时框架,能够从单个参考视频中恢复和生成高保真动态交互场景。我们方法的核心是时空自回归(STAR)架构,它通过两个紧密耦合的组件实现一致且可控的场景演化:隐式时空缓存将参考和历史观察聚合到潜在的世界表示中,确保长范围导航期间的全局一致性;显式空间约束模块强制执行几何结构,并将用户交互转换为精确且物理上合理的相机轨迹。此外,我们引入了联合分布匹配 蒸馏 (JDMD)。通过使用真实世界的数据分布作为正则化指导,JDMD 有效地克服了通常因过度依赖合成数据而导致的保真度下降。大量实验表明,INSPATIO-WORLD 在空间一致性和交互精度方面显着优于现有的最先进(SOTA)模型,在 WorldScore-Dynamic 基准上的实时交互方法中排名第一,并建立了用于导航单目视频重建的 4D 环境的实用管道。