Holo-World：视频世界模型的统一相机、对象和天气控制

视频世界模型正在朝着在可控摄像机和物体运动下保存观察到的世界的方向发展，同时允许其环境状态发生变化。然而，这些控制仍然是孤立的，天气生成通常依赖于源视频或已经指定未来结构的重建场景。我们研究了第一帧锚定的源到状态设置，其中模型从单个图像开始，遵循明确的相机和对象控制以及可选的天气指令，然后生成一个视频，该视频要么保留源世界，要么将其传输到目标天气状态。为了应对这些挑战，我们首先构建了 HoloStateData，这是一个状态视频数据集，可将不同的视频转换为用于摄像机、物体和天气监控的统一控制样本。其次，我们介绍Holo-World，一种统一的可控视频世界模型，可以从单个图像共同控制场景。其统一场景适配器将世界保存和天气传输分解为不同的参数子空间，使用渲染的背景、几何缓冲区和对象控件来维护受控的场景结构，同时对天气相关的外观和粒子效果进行建模。此外，场景-天气分解CFG分别引导场景和天气残差，增强目标天气效果，而不会过度放大完整条件。定量和定性实验表明，Holo-World 保持精确的相机和对象控制以及一致的场景结构，同时将场景转换为不同的目标天气状态，在天气状态生成方面优于视频到视频天气编辑基线。我们的项目页面位于 https://yangchenyin.github.io/Holo-World/。