从实践角度重新审视蒸馏思想链中的能力差距

思想链（CoT）蒸馏 将推理行为从强大的教师转移到较小的学生，但先前的工作报告了能力差距：当师生能力不匹配较大时，蒸馏 可能会失败。我们通过重新检查常用的实验设置，从实践角度重新审视能力差距。值得注意的是，我们发现与学生 蒸馏 之前的基线相比，CoT 蒸馏 通常会降低性能，并且之前工作中使用的一些设置虽然适合将容量差距建立为一种现象，但不能反映实际的部署场景。作为对先前确定能力差距的工作的补充，我们在更现实的环境下评估了其实际影响，发现它并不始终占主导地位；当候选教师的表现差异很大时，更优秀的教师往往更受青睐。我们的结果为 CoT 蒸馏 中师生对的选择提供了实践指导。