HAM：通过扩散模型的异构注意力调制的 无需训练 风格迁移方法

扩散模型在图像生成方面表现出了卓越的性能，特别是在风格迁移领域。流行的风格转移方法通常利用预先训练的扩散模型的强大特征提取功能以及外部模块化控制路径来明确施加风格引导信号。然而，这些方法通常无法捕获复杂的风格参考或保留用户提供的内容图像的身份，从而陷入风格与内容平衡的陷阱。因此，我们提出了一种通过 $\textbf{h}$eterogeneous $\textbf{a}$ttention $\textbf{m}$odulation ($\textbf{HAM}$) 的 无需训练 风格转移方法，以在图像/文本引导的风格参考转移期间保护身份信息，从而解决风格内容权衡挑战。具体来说，我们首先引入风格噪声初始化来初始化潜在噪声以进行扩散。然后，在扩散过程中，它创新性地将HAM用于不同的注意力机制，包括全局注意力调节（GAR）和局部注意力移植（LAT），可以更好地保留内容图像的细节，同时捕获复杂的风格参考。我们的方法通过一系列定性和定量实验得到验证，在多个定量指标上实现了最先进的性能。