信任，但要验证：剥离低位 Transformer 网络用于训练监控

了解深度神经网络是否得到有效优化仍然具有挑战性，因为训练发生在高度非凸的环境中，而标准指标对分层学习质量的可见性有限。对于基于 Transformer 的语言模型来说，这一挑战尤其严峻，因为训练成本高昂，模型通常以冻结形式重用，而且优化不佳的层会悄悄降低性能。我们提出了一种用于监控训练动态的分层剥离框架，其中每个 Transformer 层都针对训练模型的中间表示进行局部优化。通过构建轻量级、特定于层的参考解决方案，并通过不同的排列将层投影到多个中间输出上，我们获得了可实现的基线，从而能够对优化不足的层进行细粒度诊断。仅解码器 Transformer 模型上的实验表明，这些分层参考边界可以在训练的各个阶段匹配甚至超越训练模型，暴露出隐藏在总损失曲线中的低效率。我们进一步证明，这种分析在二值化和量化设置下仍然有效，在这种情况下，训练动态特别脆弱。在所有数值结果中，所提出的界限始终将明显的收敛与有效的最优性区分开来，突出了仅依靠训练损失时看不见的优化机会。