奇异分布的稳定性：语言模型预训练两相动力学的谱学视角

大语言模型 预训练 通常表现出两阶段轨迹：初始损耗快速下降，随后是长期缓慢的改善。我们确定了一种潜在的谱现象，即奇异分布稳定性 (SoSD)，即使参数矩阵继续演化，迹归一化奇异值谱也能尽早稳定下来。我们证明，SoSD 和慢下降机制之间的同步在不同的架构（GPT-2、LLaMA）和设置中被广泛观察到，包括各种计划（Step-wise、WSD、Cosine Decay）、权重衰减和优化器（AdamW、Muon）。通过分析简化的 Transformer，我们证明不断增长的权重规范不可避免地会导致早期的 SoSD 阈值，此后损失下降率在理论上受到奇异分布变化的限制。我们通过 WSD 和 Muon 等策略调节 SoSD 尺度的能力进一步解释它们，为理解高效的 预训练 动力学提供光谱透镜。