PanoWorld：几何一致的全景视频世界建模

我们推出了 PanoWorld，这是一种全景视频世界模型，可以从单个图像和标题生成几何一致的 360$\ Degree$ 视频。现有的全景视频方法主要针对视觉真实感进行优化，并且没有明确约束底层 3D 场景状态，产生的输出看似合理，但表现出不一致的深度、破坏的对应性以及跨球面的难以置信的运动。我们通过将全景视频生成视为几何和动力学一致的潜在状态建模问题而不是纯粹的视觉合成来解决这一差距。基于预先训练的透视视频世界模型，我们引入了两个轻量级正则化器：针对伪 真值 全景深度的深度一致性损失，以及监督跟踪点随时间变化的 3D 世界帧位置的轨迹一致性损失。我们进一步将球面几何感知适应应用于条件和位置编码。我们还引入了 PanoGeo，这是一个统一的几何感知全景视频数据集，在不同的真实和合成源中具有一致的深度、轨迹和提示注释，用于训练和分层评估。实验表明，PanoWorld 比之前的全景生成方法提高了几何一致性，同时保持了有竞争力的视觉真实感，确定全景视频生成必须被视为几何建模问题，以支持具体人工智能应用的整体空间理解要求。代码可在 https://github.com/ostadabbas/PanoWorld 获取。