MagicMakeup：用于高保真化妆转移的区域可控扩散 Transformer

化妆转移将参考化妆应用于源面部，同时保留源身份。尽管基于扩散的方法在全脸编辑方面取得了进展，但强大的区域可控性、化妆保真度和身份保存仍然具有挑战性。原因是（i）像素与注意力的错位导致溢出到非目标区域并削弱区域控制； (ii) 双图像调节下转移/保存概念分离不明确，导致化妆属性和身份之间的耦合； (iii) 缺乏身份一致且带有区域标记的高分辨率数据集以进行细粒度监督。在本文中，我们提出了 MagicMakeup，这是一种基于扩散 Transformer 的框架，用于区域可控和高保真化妆传输，建立在空间约束和概念解开的基础上。为了在保留身份的同时实现精确的区域特定编辑，我们提出了词元对齐区域门控，它将像素掩模与注意力对齐并应用区域特定的 logits 门控。为了阐明转移和保存的概念，我们进一步引入跨模态感知指导，它对齐文本和图像特征以增强跨模态概念感知。我们还设计了一个管道，用于通过特定区域的卸妆生成 1024 x 1024 数据对，并在合成和真实设置中建立统一的基准。大量的定量和定性实验表明，MagicMakeup 提高了区域可控性、化妆保真度和身份保留，并且在风格、种族和姿势方面具有很强的鲁棒性。