平衡扩散：用于平衡图像定制的频率感知文本嵌入

图像定制从参考概念图像中学习目标主题，并根据文本提示生成条件图像，主要是修改样式或背景。流行的方法采用 微调 将不同的概念属性打包到统一的潜在嵌入中，但纠缠的属性阻碍了消除来自风格和背景的不相关干扰。为了解决这个问题，我们提出了平衡扩散，这是一种频率驱动的方法，可以解开纠缠的概念特征，以实现平衡的定制和一致的文本视觉匹配。与通过共享嵌入和统一调整来学习完整概念的传统方法不同，我们的工作利用图像频率分量和语义之间的固有联系：低频代表主题内容，高频对应风格。我们分解频率空间中的概念并独立优化每个嵌入。这种单独的优化使降噪器能够捕捉与主体身份无关的风格，并更好地概括出看不见的风格提示。合并多频嵌入保留了模型原有的空间定制能力。我们进一步部署掩模引导扩散来限制不相关的背景变化并促进文本对齐。将剩余参考注意力（RRA）插入到空间注意力中以保持主题结构和身份一致性。实验证明平衡扩散在主题保真度和文本依从性方面超过了主流基线，验证了我们方法的优越性。