RealWeather：通过驱动世界模型进行逼真且忠实于场景的天气翻译

真实的天气转换对于开发和评估自动驾驶系统很有价值，但大规模收集不同天气条件下相同场景的配对视频是不切实际的。因此，现有方法依赖于合成数据、3D 天气编辑或几何条件生成，通常会损害天气真实性或场景保真度。我们提出了 RealWeather，这是一种用于现实和场景忠实天气转换的驾驶世界模型。我们的主要想法是直接从现实世界的视频中学习真实的天气动态。具体来说，RealWeather 采用了渐进式现实主义引导（Progressive Realism Bootstrapping），这是一种迭代数据细化策略。在辅助 Pseudo-Clear Generation 管道的协助下，训练最初从伪风格调节视频开始。随着训练的进行，这些输入逐渐被模型本身生成的越来越真实的视频所取代。该策略弥合了伪域与真实域之间的差距，使模型能够无缝适应现实世界的输入分布，并自然地支持双向清晰的逆向翻译。此外，为了严格执行结构完整性并抑制幻觉，我们引入了场景保真强化学习优化，这是一种奖励驱动的策略优化策略，明确惩罚对安全关键驾驶元素的改变。大量实验表明，RealWeather 在视觉真实感和结构保存方面显着优于现有方法，同时能够生成强大的长尾天气场景和强大的零样本分布外泛化。我们的视频演示可以在 https://hust-umi.github.io/RealWeather/ 找到。