LatRef-Diff：用于面部属性编辑和风格操作的潜在和参考引导扩散

面部属性编辑和风格操作对于虚拟头像和照片编辑等应用至关重要。然而，由于面部结构的复杂性和属性之间的强相关性，在不改变不相关特征的情况下实现对面部属性的精确控制具有挑战性。虽然条件 GAN 已经取得了进展，但它们受到准确性问题和训练不稳定的限制。扩散模型虽然很有前景，但由于语义方向的表达能力有限，在风格处理方面面临挑战。在本文中，我们提出了 LatRef-Diff，这是一种新颖的基于扩散的框架，可以解决这些限制。我们用风格代码取代扩散模型中的传统语义方向，并提出了两种生成它们的方法：潜在指导和参考指导。基于这些风格代码，我们设计了一个风格调制模块，将它们集成到目标图像中，从而实现随机和定制的风格操作。该模块结合了可学习向量、交叉注意机制和分层设计，以提高准确性和图像质量。此外，为了增强训练稳定性，同时消除配对图像的需要（例如，编辑之前和之后），我们提出了一种前向-后向一致性训练策略。该策略首先使用图像特定的语义方向大致删除目标属性，然后在感知和分类损失的指导下通过风格调制恢复它。 CelebA-HQ 上的大量实验表明，LatRef-Diff 在定性和定量评估方面均实现了最先进的性能。消融研究验证了我们模型设计选择的有效性。