置信度感知对齐使推理LLM更可靠

大型推理模型常经由有缺陷的中间步骤到达正确答案，造成最终准确率与推理可靠性之间的鸿沟。既有对齐策略以外部验证器或海量采样解决，限制可扩展性。本工作提出CASPO（置信度感知步级偏好优化）：一个经迭代DPO把token级置信度与步级逻辑正确性对齐的框架，无需训练独立奖励模型。推理时我们提出置信感知思考（CaT）：利用该校准的置信度动态剪除不确定的推理分支，时延开销可忽略的O(V)。跨十基准与多模型家族的实验显示CASPO一致提升推理可靠性与推理效率。CASPO扩展到Qwen3-8B-Base，在不使用奖励模型数据的情况下在AIME'24与AIME'25上超越树搜索基线。我们还发布带置信度标注的步级数据集以支持推理可靠性的细粒度分析。代码见GitHub。