论文

魔鬼就在泄漏中:用于高保真发型转移的双重净化框架

The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer

应用与实践内容创作

摘要

发型迁移旨在通过将参考图像中的发型移植到源主体上,同时保留源身份来合成逼真的肖像。最近的基础模型显示出强大的生成能力,但它们难以实现精确本地编辑所需的零镜头解缠,经常将参考发型与其原始身份和姿势纠缠在一起。现有的基于扩散的管道通常通过首先从源生成“秃头”图像,然后从参考注入发型特征来分解任务。然而,我们表明这种范式存在根本性的泄漏问题。当发型特征保留参考身份或姿势信息时,就会发生发型中的身份泄漏,而当秃头图像中的残留伪影传播到最终合成中时,就会出现秃头中的缺陷泄漏。为了解决这两个问题,我们提出了双重净化框架(DPF),它引入了两个互补的训练时间正则化器。对抗性发型净化(AHP)通过在相互信息启发的对抗目标下抑制身份可预测性来净化发型特征。对比几何纯化 (CGP) 通过对比目标规范 ControlNet 路径,减少模型对秃头条件下几何伪影的依赖。通过共同净化发型表示和几何路径,DPF 在不同的基准上实现了高保真、保留身份的发型转移和最先进的性能。