语义感知、物理约束、几何约束的天气视频合成

天气合成旨在向输入视频添加天气效果，同时保留场景特征、结构和运动。现有方法的主要局限性是缺乏天气外观的多样性和对天气动态（例如时间演化和粒子运动）的有效控制。大多数方法依赖于文本提示，这些提示本质上是不明确的，并且通常无法产生详细的天气特征。此外，针对干净和美观的输出而优化的通用视频编辑器往往会抑制恶劣的天气现象，从而难以生成密集的粒子效果。为了解决这些问题，我们提出了一个语义感知、物理约束和几何约束的框架，该框架引导现成的视频编辑器合成不同的全局外观和详细的粒子动力学。我们将合成分解为三个条件信号，以便每个信号都提供独特且稳定的指导源：语义指定天气应该是什么样子，动力学控制它如何随时间演变，几何学确定它应该出现在场景中的位置。具体来说，我们引入（1）语义感知外观锚定，根据场景语义和用户输入建立目标外观； (2) 物理动态模拟，通过模拟重力、风和湍流下高斯表示的粒子场来生成粒子效应； (3) 基于几何图形的视频合成，将模拟粒子与目标场景几何图形对齐并合成最终视频。实验表明，我们的方法可以产生多样化的、物理上和视觉上真实的天气效果。此外，我们表明，我们的合成数据显着提高了恶劣天气条件下自动驾驶语义分割的鲁棒性。项目页面：https://jumponthemoon.github.io/w-crafter/。