论文

天气条件下的深度任何深度

Weather-Conditioned Depth Anything

模型训练监督微调与指令调优

摘要

单目深度估计基础模型,例如 Depth Anything 系列,在不同领域取得了卓越的性能。然而,在雾、雨、雪或夜间等恶劣天气条件下,它们仍然会遭受严重故障。为了解决这个问题,我们提出了 Weather-Conditioned Depth Anything (DA-W),这是一个框架,它明确地将风格与内容分开,以进行耐候深度估计。具体来说,我们引入了一种风格过滤器,该过滤器在真实和合成退化数据集的精选组合上进行训练,以提取与内容无关的、退化感知的天气嵌入。然后使用参数高效、零初始化的适配器将这种样式嵌入注入到 Depth Anything 主干中。这种轻量级的调制使单个统一模型能够稳健地适应不同的条件,包括雾、雨、雪和弱光,同时避免在正常条件下灾难性地忘记其核心泛化能力。我们使用伪标签 蒸馏 和对齐策略来训练适配器。我们的综合实验表明,我们提出的 DA-W 实现了最先进的稳健深度估计,在我们策划的天气基准上将 AbsRel 平均提高了 3.7%,同时在标准清洁基准上表现匹配或略胜一筹。我们的项目页面位于 https://zhaoming-tamu.github.io/WCDA/。