揭秘 同策略 蒸馏：它有帮助的地方，有伤害的地方，以及为什么

同策略 蒸馏 为训练推理模型提供密集的、按词元的监督；然而，目前尚不清楚该信号在哪些条件下有益，在哪些条件下有害。应该使用哪种教师模型，在自我 蒸馏 的情况下，哪个特定上下文应该作为监督信号？不同词元的最佳选择是否有所不同？目前，解决这些问题通常需要昂贵的训练运行，其总体性能指标掩盖了单个词元级别的动态。我们引入了一个 无需训练 诊断框架，该框架以最高分辨率运行：每个词元、每个问题和每个教师。我们推导出一个理想的每节点梯度，定义为最大程度地增加学生成功概率的参数更新。然后，我们开发了一种可扩展的有针对性的采样轨迹算法来有效地估计这个梯度，即使对于长链的中间思想也是如此。梯度对齐分数定义为该理想梯度与任何给定 蒸馏 梯度之间的余弦相似度，量化特定配置近似理想信号的程度。在一系列自我 蒸馏 设置和外部教师模型中，我们观察到 蒸馏 指导在不正确的部署中比在正确的部署中表现出更高的与理想的一致性，在正确的部署中，学生已经表现良好，而教师的信号往往会变得嘈杂。此外，我们发现最优的 蒸馏 上下文共同取决于学生模型的能力和目标任务，并且没有出现单一的普遍有效的配置。这些发现促使对 蒸馏 使用每个任务、每个标记的诊断分析。