MirrorPPR：基于范例的人像照片修饰

虽然文本引导的图像编辑已经取得了显着的进步，但它在结构肖像修饰方面仍然受到限制。文字描述很难传达面部特征和身体比例的细粒度变化。为了解决这一差距，我们引入了基于示例的肖像照片修饰，其中模型被赋予一对示例，并负责推断并将相同的修饰操作应用于新的查询图像。现有的基于示例的编辑方法主要关注具有明显视觉转换的任务。相比之下，结构肖像修饰涉及极其精细和局部的修改，这使得准确提取和传输这些编辑具有挑战性。为了解决这个问题，我们提出了 MirrorPPR，这是一种新颖的框架，旨在捕获和传输微妙的结构修饰操作。我们的方法使用修饰操作提取器来捕获示例对中的细微差异。然后，提取的表示通过连接器和低秩适应 (LoRA) 模块注入到预训练的扩散 Transformer (DiT) 中。此外，构建完美对齐的跨身份训练对会因操作不一致而受到严重阻碍。为了克服这个问题，我们提出了一种先进的数据自我增强范例，以确保严格对齐的修饰操作。为了缓解数据稀缺并支持这项新颖的任务，我们引入了 MirrorPPR47M，这是一个包含超过 4700 万个修饰对的大型数据集。通过将数据集构建为模拟和专业子集，我们使渐进式课程学习能够顺利优化网络。大量实验表明，MirrorPPR 在修饰质量和身份保留方面均明显优于现有基线。项目页面位于 https://sjtu-deng-lab.github.io/MirrorPPR。