论文

域是一个残差:适应自我监督的特征,而不是生成器

The Domain Is a Residue: Adapting Self-Supervised Features, Not Generators

模型训练参数高效训练

摘要

清除镜头中的雾、雨或雪,或将渲染转换为照片,必须删除源域并保留场景。不成对的翻译器将其传递下去,因为它们的生成器看到源外观(像素、近乎可逆的潜伏图或控制图)并保留它。 DINO 特征图修复了场景中的内容,并带有天气、光照和渲染风格,作为特征标准的 13% 到 14% 的剩余部分。我们提出了表示特征适配器(RFA),这是一个移动该残基的 2.9M 参数网络。我们只训练适配器及其鉴别器;编码器和特征条件解码器在所有条件下都经过一次训练,保持冻结状态。与 CycleGAN-Turbo 相比,它在雾和夜间 KID 指标以及雪、雨和雾霾的噪声水平上均领先。在模拟到现实方面,它在两个指标上都领先于 REGEN 和 HyPER-GAN。只有 RFA 才能在保持场景的同时去除雨水。移除场景结构的成本:CycleGAN-Turbo 在除雾之外的各种条件下保留更多。在 VAE 潜伏上,相同的适配器会崩溃为身份,并且来自其他组的解码器从未见过它呈现其输出。 RFA 的可训练参数比 CycleGAN-Turbo 少约 160 倍,并且每个条件的训练时间不到其五分之一。