SPW-Nav：语言引导的流式全景世界模型

语言引导的全景视频生成有利于各种下游应用，例如交互式 3D 场景探索、虚拟现实体验和实体Agent培训。现有的全景生成器遵循预定义的轨迹，交互式世界模型通过透视视图中的低级动作进行操作。我们提出了 SPW-Nav，一种流式全景世界模型，可以理解运动指令并从单个全景图中实时流式传输一分钟的 2K 360 度视频。 SPW-Nav 将先前生成的全景图中的每条指令解释为相机运动。球面旋转解耦精确地在球体上应用旋转，姿势对齐调节使平移输入在长流上保持有界，并且具有几步生成器的多项存储器在指令变化时继续场景。我们还构建 SPW-NavSet、带有摄像机轨迹和经过验证的指令的全景视频。在语言驱动下，SPW-Nav 在摄像头跟随精度和视频质量方面优于之前的全景生成器，并支持即时指令切换。