辅助轨迹奖励：比较置信度与熵平滑偏好对小模型学习的作用

答案级奖励无法区分结果同样正确的推理轨迹。我们研究在监督有限时，辅助轨迹偏好能否改善小语言模型的自我改进与迁移。我们通过在线奖励增强和对正确回答的离线训练，比较基于置信度的SC指标和基于熵的UID-Conj.指标；后者结合全局熵变化与局部平滑性。在线实验不使用参考答案，在30道AIME题上适配Qwen3-1.7B；离线实验使用历史AIME题。相比未经修改的TTRL，UID-Conj.在适配基准和三个迁移基准上的在线宏平均成绩提高2.08个百分点。最强证据来自离线加权SFT：在相同回答池中，UID-Conj.比均匀加权高1.93个百分点，按问题配对的bootstrap 95%置信区间为[0.44, 3.44]。收益取决于任务：SC奖励改善评判得到的轨迹质量和指令遵循，而UID-Conj.奖励在若干设置中带来更好的训练结果。我们发现，辅助偏好能够揭示结果同样正确、但在推理时未被识别的轨迹学习价值，因此有必要通过下游收益评价这些偏好。