潜在扩散模型中的风格属性控制

文本到图像的扩散模型彻底改变了图像合成和编辑，但对风格属性的精确控制仍然是一个挑战，通常会导致意外的内容修改。我们提出了一种通过从合成数据集中学习解缠结的编辑方向来对潜在扩散模型中的风格属性进行细粒度参数控制的方法。我们使用指导合成来缩小风格微调模型和基础模型之间的领域差距，在应用风格调整的同时保留原始图像语义。为了确保一致的编辑，我们引入了训练正则化损失，并通过优化的空条件嵌入来增强 DDIM 反演，以实现真实图像编辑。我们通过学习经过风格过滤的合成数据集来验证我们的方法，这些数据集改变了一系列风格属性，包括轮廓、局部对比度、水彩效果和几何图案。我们的评估表明，与当前基于文本的编辑技术相比，我们的方法提供了集成良好、更精确且连续可调的文体修改。