论文

PVRF:通过预先调制和速度约束的整流流去除多合一的恶劣天气

PVRF: All-in-one Adverse Weather Removal via Prior-modulated and Velocity-constrained Rectified Flow

应用与实践内容创作

摘要

由于异构和不可见的退化,现实世界图像中的恶劣天气去除(AWR)仍然具有挑战性,而失真驱动的训练通常会产生过于平滑的结果。我们提出了 PVRF,这是一个统一的框架,它将零样本软天气感知与速度约束的整流流细化相结合。 PVRF 引入了特定于 AWR 的问答模块 (AWR-QA),该模块使用冻结视觉语言模型 (VLM) 来估计天气类型和低级属性分数的软概率。这些感知通过属性调制归一化(AMN)和天气加权适配器(WWA)调节恢复网络,产生用于细化的锚估计。然后,我们学习具有感知自适应源扰动的终端一致残差整流流和终端一致速度参数化,以稳定终端状态附近的学习。大量实验表明,与最先进的基线相比,PVRF 提高了保真度和感知质量,并且对单一和组合退化具有强大的跨数据集泛化能力。代码将在 https://github.com/dongw22/PVRF 发布。