光谱透镜：激活和梯度光谱作为 LLM 优化的诊断

训练损失和吞吐量可以隐藏语言 模型训练 中不同的内部表示。为了检查这些隐藏的机制，我们使用光谱测量作为实际和操作诊断。使用改编自修改后的 NanoGPT 代码库的受控解码器模型系列，我们引入了基于激活协方差和每样本梯度 SVD 谱的经验协议。这种双重观点揭示了三个经验发现和一个机械解释。首先，批量大小是表征几何的潜在决定因素：达到相同损失的运行会进入系统不同的激活谱。其次，在训练早期测量的激活协方差尾部可以可靠地预测下游词元效率。第三，激活谱头（主导模式）的运动与梯度谱一起表征了潜在的学习动态变化，将学习侧架构改进与主要执行侧收益分开。这些预测和诊断信号​​在 12 层、36 层和 48 层模型层中持续存在。最后，机械模型证明了主要观察结果，并解释了激活协方差谱如何与任务对齐的特征学习相关联。