世界观察者：持久世界建模的联合演员-观察者生成

世界模型如何持续观察演员当前视野之外的区域？视频世界模型模拟环境如何根据Agent的行为演变，但仍然以参与者为中心。一旦物体离开演员的视野，他们就会失去其进化的直接证据，通常无法在重新进入时保持其状态和动态。为了解决这个问题，我们引入了世界观察者，它通过与观察选定世界区域的一个或多个全景观察者共同生成以Agent为中心的视图的透视演员，将观察与行动分离。这允许离开演员视野的对象在观察者中保持视觉演变，因此当它们重新进入时，它们更新的状态会反映出来。我们通过从共享全景源进行扭曲来实现显式几何对应，从而使演员和观察者grounding，并引入高分辨率透视参考的观察者接收器，以在重新进入时恢复良好的外观。由于观察者与参与者分离，因此它们可以自由放置在场景中，扩展到多个位置以获得更广泛的覆盖范围，并由控制信号驱动以引导视野外的演化。为了评估视野外的演化，我们进一步引入了世界空间指标以及跨越真实和合成场景的基准。 World Observer 显着改善了视野外动态，同时在视觉保真度、摄像机控制和 3D 依从性方面保持竞争力。