大规模激活的生命周期：随机诞生、体重衰减驱动的增长和竞争整合

大规模激活（其幅度远大于典型激活的残余流坐标）与 Transformer 中的注意力池相关，但在训练过程中如何调节其规模仍不完全清楚。结合训练轨迹分析和受控干预，我们追踪它们的出现、增长和巩固。水槽承载通道因随机种子而异，但在每次运行的早期稳定。经过较长时间的训练，周围的信道会受到侵蚀，并且接收器会集中在一些冗余的载波上。在消融过程中，梯度衰减遵循接收器词元的集体均方根大小，而不是任何单个通道，这使得集体规模成为理解其影响的核心。我们的核心结果是，权重衰减因果性地控制着全局激活量表的周转。在受控延续中，消除峰值附近的衰减可以使该规模继续上升，而保留它即使在恒定的学习速率下也会产生下降。我们开发了一个大规模激活幅度的上升和峰值的平衡模型，其中 AdamW 预处理的增长反对重量衰减。扫描衰减系数 $λ$ 会近似对数线性地移动峰值定时，并产生近似为 $λ^{-1/2}$ 的峰值幅度，与此平衡一致。优化器测量进一步表明，即使原始维持力太小而无法做到这一点，预处理也可以维持大通道群免于衰减。总之，这些发现将观察到的生命周期与规模调节训练动态联系起来，并将重量衰减建立为激活幅度的训练时间杠杆。