平均模式尖叫：1000 层扩散的均值-方差分割残差 Transformer

将 Diffusion Transformer (DiTs) 扩展到数百层会引入结构性漏洞：网络可以进入一种无声的、均值主导的崩溃状态，从而使词元表示均质化并抑制中心变化。通过机械审计，我们将这次崩溃的触发事件隔离为平均模式尖叫（MMS）。即使训练看起来稳定，MMS 也会发生，对残差写入器施加均值相干的后向冲击，打开深度残差分支并驱动网络进入均值主导状态。我们表明，这种行为是由这些梯度精确分解为均值相干和中心分量驱动的，一旦值均质化，就会通过 Softmax 雅可比行列式的零空间对注意力 logits 梯度进行结构抑制。为了解决这个问题，我们提出了均值方差分割（MV-Split）残差，它将单独获得的中心残差更新与泄漏主干均值替换相结合。在 400 层单流 DiT 上，MV-Split 可以防止发散崩溃，从而破坏不稳定的基线；它跟踪接近基线的崩溃前轨迹，同时在整个时间表中保持比词元各向同性门控方法（例如 LayerScale）要好得多。最后，我们提出了 1000 层 DiT 作为边界尺度上的尺度验证运行，确定该架构在极端深度下仍然保持稳定的可训练性。