从梯度到能力：理解多教师按策略蒸馏

多教师策略蒸馏 (MOPD) 旨在将受过 RL 训练的教师的优势结合到单个学生中，但教师信号如何影响参数变化仍有待探索。我们与四位领域教师一起研究 Qwen3-1.7B，他们接受了与学生相同的初始化的强化学习，比较梯度、优化器更新和任务学习曲线，以及附加的 SmolLM3-3B 诊断。我们发现有几个因素会影响教师的信号。首先，损失平均隐式地对响应进行加权：词元平均有利于较长的响应，而均衡域贡献则在域内保留了这种权重。其次，Adam 的一阶矩减少了参数更新的差异：尽管原始梯度存在差异，但教师之间的余弦相似度为 0.83，平均规则之间的余弦相似度为 0.96。第三，BF16 舍入隐藏了微小的变化：大约 97% 的 FP32 主权重与初始化不同，但只有 7--11% 的 BF16 权重不同。最后，top-64 交集 KL 梯度与 Qwen 的全词汇梯度非常匹配，但对任务性能的影响取决于平均：在响应平均下，数学精度比采样词元策略梯度（PG）高 2.6 个点，在全局词元平均下低 2.1 个点。