SpectralDiT：流量匹配 DiT 的时间步条件频谱残差校正

我们提出了 SpectralDiT，这是对流匹配扩散 Transformer 的轻量级修改，为 MLP 残差分支添加了时间步条件谱校正。该模块将每个残差更新分解为补丁词元网格上的低频和高频分量，然后学习零初始化的加性门，以便模型最初与基线 DiT 匹配。在 CIFAR-10 像素空间生成中，SpectralDiT 将补丁大小 1 时的 FID 从 20.78 提高到 19.71，并减少了径向傅里叶谱间隙。此外，我们将我们的方法扩展到 ImageNet-100 上的潜在扩散。 SpectralDiT 增加了 0.6% 的理论 FLOP 和 1.36% 的额外参数，改善了潜在流匹配，在无分类器指导下 (CFG 2.0) 实现了 8.7% 的相对 FID 减少。所有报告的结果都是五颗种子的平均值。 CIFAR-10 上的消融和门可视化揭示了稳定的特定块光谱校正模式。