论令人厌恶的教师与有吸引力的教师：正确与自我升华行为的分离

策略自蒸馏通过以特权信息为条件调节模型并将所得的教师分布提炼回模型中，提供密集的词元级监督。然而，特权信息不仅可以改变教师所知道的内容，还可以改变教师的行为方式，将与正确性相关的学习信号与意外的行为转变纠缠在一起。我们通过对比吸引性自我蒸馏和排斥性自我蒸馏来研究推理任务中的这种效应，吸引性自我蒸馏使模型走向特权教师，排斥性自我蒸馏使模型远离特权教师。我们发现，这两个目标都会引发强烈且相反的行为转变：吸引会抑制探索性推理，促进更短、更自信的反应，而排斥会增加反应长度，可能会触发模型无意中切换到潜在思维模式，并最终变得不稳定。受这些观察的启发，我们研究了对比自蒸馏，它将对以正确解决方案为条件的教师的吸引力与对以错误解决方案为条件的教师的排斥结合起来。与之前将此类蒸馏信号与 GRPO 目标相结合的工作相比，我们隔离了自蒸馏目标并单独研究其行为。我们发现两位老师共同的行为转变在很大程度上抵消了，留下了一个更直接反映正确性的象征性信号。在非思考、仅指导和已经思考的模型中，这种对比目标提高了推理性能，同时保持稳定的响应长度。