GateKD：用于稳健推理的置信门控闭环 蒸馏

由于嘈杂的基本原理、幻觉的监督和静态的师生互动，将 大语言模型 (LLM) 的多步推理能力提炼成紧凑的学生模型仍然具有挑战性。现有的推理 蒸馏 方法，包括基于导师的方法，主要以开环方式运行，隐含地假设统一的教师可靠性，从而传播错误的中间推理。我们提出了 GateKD，一种置信门控闭环 蒸馏 框架，通过将教师视为动态看门人而不是静态预言机来实现强大的推理传输。 GateKD 引入了三种互补机制：(i) 置信门控软监督，选择性地提取可靠的预测信号；(ii) 门控隐藏状态演化，仅在教师置信度较高时对齐中间表示；(iii) 可靠性过滤注意力 蒸馏，保留稳定的推理结构，同时抑制噪声模式。这些组件共同形成一个闭合的反馈循环，其中教师的信心不断调节蒸馏过程，减少幻觉传递并稳定学生的推理。使用不同大小的 T5 和 Flan-T5 主干，在常识、逻辑和符号推理基准上进行的广泛实验表明，GateKD 始终优于强大的开环 蒸馏 基线。值得注意的是，GateKD 在逻辑和符号推理方面取得了巨大的进步，在低资源 蒸馏 设置下保持稳健，并且在删除任何门控组件时表现出明显的性能下降。我们的结果强调，置信门控闭环监督对于构建可靠且可扩展的小型推理模型至关重要。