AdamW训练动态中的威布尔权重尺度参数演化

基于用于诊断 Transformer 权重分布的双参数 Weibull 框架，我们研究了为什么 Weibull 权重尺度参数 $λ$ 在 AdamW 训练期间增长、超调，然后放松。我们从 AdamW 更新中推导出平方权重范数的主导阶的三项力分解：测量权重和自适应更新方向之间相关性的对齐力、来自自适应步幅的注入力以及来自解耦权重衰减的衰减力。在具有 真值 优化器矩的自训练 Pythia-70M 模型上，对齐在上升阶段占主导地位，在四个随机种子中贡献了 88-94% 的绝对力预算，并且对超权重去除保持稳健。接近饱和、对齐和衰减接近平衡，解释了从权重尺度增长到松弛的转变。这些力动态直接控制 $λ(t)$ 的平方范数分量；剩余的 RMS 到威布尔重构偏移是可测量的，并分解为桥接和积分分量，在密集采样区域总计约为 5-6%。为了将分析扩展到优化器矩不可用的真实模型，我们引入了一种样条位移方法，该方法可以从稀疏检查点恢复对齐力，准确度约为 92-94%，大约是朴素两点基线的两倍。我们进一步观察到，在我们的实验中，$λ(t)$ 的峰值随着训练数据的一致性而变化，这表明权重尺度增长的数据依赖部分，我们将其留给受控的后续研究。代码和数据可在 https://github.com/tiexinding/NPM-Weibull-public 获取。