SCOReD：针对推荐 蒸馏 的学生感知 CoT 优化

推荐领域中的思想链 (CoT) 蒸馏 是 RL 训练的必要前提，但原始教师痕迹不适合这项任务。大型教师以异常高的推理不确定性来处理推荐任务，反复重新检查他们的答案而不修改它们；在此类痕迹上监督 微调 会产生冗长的学生，他们永远不会修改他们最初的猜测。此外，由于推荐域的新颖性，教师的推理轨迹对于小学生LLM来说是高度不分布的。我们提出了针对推荐 蒸馏 的学生感知 CoT 优化（SCOReD），这是一个针对推荐量身定制的 CoT 优化框架，它首先将每个教师跟踪解析为键入的片段，并使用学生 LLM 的注意力对每个片段的重要性进行评分。然后，SCOReD 根据输出长度和给定学生编辑的答案的比较对数概率提升，动态选择每个片段的编辑（保留/重写/熔断/修剪）。因此，SCOReD 会修剪推理轨迹的冗余部分，同时保留信息密集部分，并使原始教师轨迹适应学生的输出分布。在 SCOReD 优化的 CoT 上进行训练为学生模型提供了更清晰的学习信号，并将 SFT 较基线提高了 1.56% NDCG 和 1.9% Recall@5，同时将推理长度缩短了 27.3%。