揭开扩散中 AdaLN-0 的秘密 Transformer

Diffusion Transformer (DiT) 是一种快速新兴的图像生成架构，受到了广泛关注。然而，尽管人们不断努力提高其性能，但对 DiT 的理解仍然很肤浅。在这项工作中，我们深入研究了 DiT 内的关键调节机制 adaLN-Zero，与 adaLN 相比，它实现了卓越的性能。我们的工作研究了驱动这种性能的三个潜在因素，包括类似 SE 的结构、零初始化和“渐进”更新顺序，其中零初始化被证明是最有影响力的。基于这种理解，我们提出了一种分析引导的初始化策略，称为 adaLN-Gaussian，它既可以作为我们分析的实证验证，也可以作为一种持续提高优化效率的实用初始化方法。另一方面，受类 SE 结构的启发，我们引入了一种改进的调节机制，称为 SE-adaLN-Zero。 DiT 之后在四个数据集（尤其是 ImageNet1K）上进行的大量实验证明了 adaLN-Gaussian 和 SE-adaLN-Zero 的有效性和泛化性。除了类到图像生成之外，我们还评估了两种改进方法在文本到图像生成方面的泛化能力。