当最强的老师不是最好的老师时：以学生为中心的答案选择

LLM 训练越来越依赖于教师生成的监督，从综合反应到推理轨迹和工具使用演示。当前的实践通常选择表现最好的教师来生成学生训练数据，隐含地将教师测试表现视为教学质量的代表。我们证明这种假设可能会失败：即使多个老师对同一问题提供了正确答案，最强老师的答案也不一定是对特定学生的最佳监督。为了解决这一差距，我们提出了以学生为中心的答案抽样（SCAS），这是一个框架，可根据估计的以学生为中心的学习成本从经过验证的教师生成的答案中进行选择。受 token-wise 梯度分解的推动，我们针对此成本推导出一个高效的仅前向代理，并用它来指导训练期间的答案选择。 30 个教师模型、6 个学生基础模型和 6 个任务的实验表明，SCAS 持续提高学生的表现，这表明有效的 蒸馏 应优先考虑与当前学生匹配的监督，而不是单独的教师实力。