WildShadowRemover：通过保留细节的视频扩散模型进行野外视频阴影去除

由于复杂的光照、多样化的阴影外观和有限的训练数据，野外视频阴影去除仍然具有挑战性。尽管它对众多视觉和图形应用很重要，但在不受约束的现实场景中它仍然很大程度上未被探索。为了解决这一差距，我们提出了 WildShadowRemover，这是一个框架，它采用预训练的视频扩散模型，通过 LoRA 微调 实现强大的视频阴影去除。为了保留精细的图像细节，同时保留模型强大的生成先验，我们用细节注入模块增强了冻结的 VAE 解码器，并引入了阴影掩模引导的频率分解调制模块，以选择性地恢复高频纹理，同时抑制阴影伪影。 Depth Anything 3 的单目深度先验进一步在具有挑战性的照明条件下提供几何感知指导。我们还构建了 WildShadow，一个大规模配对视频阴影去除数据集和基准，涵盖不同的合成场景。大量的实验表明，我们的方法在阴影去除质量和时间一致性方面优于现有方法，生成时间连贯的无阴影视频，具有卓越的视觉质量和在具有挑战性的野外场景中的强泛化能力。