从合成到真实：利用合成和真实数据实现身份一致的化妆转移

化妆迁移旨在将参考肖像的化妆风格应用于源肖像，同时保留身份和背景。早期的方法将此任务表述为无监督的图像到图像的转换，依赖于替代目标，并且通常产生有限的性能。最近基于扩散和流的方法利用合成数据进行监督训练，从而取得了显着的改进。然而，这些方法仍然面临两个关键挑战：合成监督经常无法忠实地保留身份，合成数据和真实数据之间的域差距限制了泛化，导致复杂的现实场景中的性能下降。为了解决这些问题，本文首先提出了 ConcientBeauty，这是一种新颖的数据管理管道，可确保合成数据中的化妆保真度和严格的身份一致性。其次，我们提出 RealBeauty，一个合成到真实的 后训练 框架。除了对精选合成数据进行监督学习之外，我们还通过强化学习进一步使模型适应现实场景，并设计适合化妆转移任务的新颖的可验证奖励。它使模型能够进一步受益于合成监督之外的真实化妆模式。此外，我们建立了新的多元化化妆迁移基准，涵盖广泛的肤色、年龄、性别、姿势和化妆风格，从而能够更全面地评估模型在不同现实条件下的表现。大量的实验表明，我们的方法在多个基准上实现了最先进的性能，并在复杂的现实案例中的身份保存和性能方面表现出明显的优势。