CaricHarmony:用于保护身份的漫画合成的对比扩散路径
CaricHarmony: Contrastive Diffusion Paths for Identity-Preserving Caricature Synthesis
摘要
基于草图的漫画合成面临着一种基本的失败模式:当身份和形状条件在扩散模型中结合时,它们会产生破坏性干扰,导致不可避免的崩溃,要么是平淡的肖像,要么是无法识别的扭曲。我们将根本原因确定为\emph{条件信号污染}——去噪轨迹中相互竞争的概率分布,使得平衡生成变得不可能。我们提出了 CaricHarmony,这是第一个 无需训练 方法,它通过并行的未污染扩散路径明确解决了这种污染。在推理过程中,我们维护三个路径:$\mathcal{P}^{\mathrm{i}}$(纯恒等)、$\mathcal{P}^{\mathrm{s}}$(纯形状)和$\mathcal{P}^{\mathrm{i+s}}$(协调输出)。在交叉注意力特征上运行的新颖能量函数提供梯度指导,引导 $\mathcal{P}^{\mathrm{i+s}}$ 走向最佳平衡:$\mathcal{E}_{\mathrm{shape}}$ 通过布局和语义对齐确保草图保真度,而 $\mathcal{E}_{\mathrm{id}}$ 采用 词元级 对应匹配,对极端扭曲具有鲁棒性。与每个身份 微调 需要 70 秒的 DemoCaricature 或受限于贝塞尔曲线的 CaricatureBooth 不同,CaricHarmony 接受任何草图格式并在 16 秒内生成。实验证明了最先进的性能:在可比较的身份一致性得分下,形状 CLIP 得分为 0.8615(对比 0.8450),总体用户偏好得分为 7.81(对比 6.06)。我们的方法从根本上将 ID-形状冲突重新概念化为扩散模型的条件信号污染,从而在保持识别的同时实现前所未有的创意控制。