通过内部潜在分析对扩散模型进行统一主干细化

扩散模型在不同领域取得了显着的成功，其性能与参数化评分函数的去噪主干密切相关。在本文中，我们对扩散成分进行了系统的、阶段感知的分析，并表明深层潜伏的突然、早期波动与伪影密切相关。在这些发现的指导下，我们引入了 DUNE (Diffusion Unified Network refiNEr)，这是一种 无需训练 细化框架，它使用基于 EMA 的共享标准检测深层低噪声内部潜伏中的突然偏差，并对检测器选择的条目应用骨干网特定的抑制。尽管源自 U-Net，但相同的检测-抑制原理通过作用于深度自注意力块的潜伏，自然地扩展到基于 Transformer 的扩散模型。跨多个骨干网的广泛实验表明，DUNE 提高了保真度，同时减少了幻觉，为应在何时何地控制扩散骨干网提供了新的见解。