MeteoVerse：统一天气可控视频世界模型

视频世界模型旨在从观察到的场景预测未来的内容，同时遵循规定的摄像机运动。现实世界的场景演变不仅取决于视点和物体动力学的变化，还取决于天气等环境条件，这可以极大地改变场景外观和可见性。对这种现实的天气演变进行建模具有挑战性，因为所需的天气变化共同取决于观测到的和期望的天气状态。根据它们的关系，模型可能需要保留、引入或消除天气影响。现有的视频世界模型通常会隐含这种天气转变，迫使生成骨干将天气演变与场景动态和摄像机运动一起推断，从而导致天气控制不精确。为了解决这一限制，我们提出了 MeteoVerse，这是一种统一的天气可控视频世界模型，可以根据不受天气影响的场景描述、目标天气指令和摄像机轨迹，从单个晴天或恶劣天气图像生成未来视频。 MeteoVerse 不是仅根据所需天气进行调节，而是明确估计观测到的天气状态和目标天气状态，并表示所需的天气转变。然后，具有过渡意识的天气专家将这种过渡转化为特定类别的残余天气特征，统一天气保存、引入和去除，同时能够对引入的天气强度进行细粒度控制。我们进一步构建了 MeteoVerse 数据集，其中包含超过 50K 的真实天气视频剪辑、生成的晴朗对应物、解开的场景和天气描述、天气强度注释和摄像机轨迹。大量的实验表明，天气可控性得到了显着改善，同时保持了有竞争力的场景一致性和摄像机控制性能。