寄存器对于像素空间扩散 Transformer

众所周知，Vision Transformer (ViTs) 会表现出高标准补丁词元异常值，从而降低特征图质量，这一问题可以通过注册词元有效缓解。随着扩散模型越来越多地采用 Transformer 架构并转向像素空间训练，它们在形式上变得更接近 ViT，这就提出了寄存器词元是否对扩散 Transformer (DiT) 也有用的问题。在这项工作中，我们证明 DiT 与 ViT 在一个关键方面有所不同：它们不表现出补丁词元异常值，但仍然受益于寄存器。有趣的是，寄存器在像素空间 DiT 中比在潜在空间 DiT 中更有效。通过分析中间表示，我们发现寄存器标记在高噪声水平下产生更清晰的特征图，这可能有助于它们在像素空间生成中的有效性。我们进一步观察到，最近的像素空间 DiT 架构隐式地结合了类似寄存器的机制，这可能部分解释了它们强大的经验性能。受这些观察的启发，我们提出了注册指导（Register Guidance），这是一种放大注册标记的贡献的技术，该标记负责改善视觉结构和连贯性。