论文

面向LLM推理可靠性的前缀安全贝叶斯信念跟踪:校准与排序的分离

Prefix-Safe Bayesian Belief Tracking for LLM Reasoning Reliability:Separating Calibration from Ranking

模型推理推理验证与自校正

摘要

长推理轨迹需要在最终答案揭晓之前就获得可靠性估计。我们研究前缀条件下的最终成功概率估计 P(y=1 | o_{1:t}),使用前缀安全的观测。序列贝叶斯信念跟踪(Sequential Bayesian Belief Tracking,SBBT)校准观测似然并递归更新一个两状态信念,为标量分数、文本与自我验证标记、隐藏簇、token 池化探针和潜轨迹特征提供统一的跟踪器。在 MATH-500、GSM8K、AIME 2025 和 RIMO-N 上生成的开放权重轨迹中,概率质量与排序能力相互分离:仅用分数的 SBBT 常能改善 Brier 分数,而 AUROC 的提升则需要超出强前缀安全基线的结构感知证据。在最强的难数学设置中,结构感知观测相对标准前缀安全基线达到 +0.110 AUROC。在同前缀分类器审计下,MATH-500 的文本标记和 RIMO-N 的自我验证信号仍保持为正。综合来看,这些发现支持把 SBBT 作为校准感知的在线推理框架,并揭示出一种证据格局:标量分数主要支撑概率质量,而结构感知的前缀信号只有在强前缀安全基线尚未吸收排序证据时才支撑排序。

面向LLM推理可靠性的前缀安全贝叶斯信念跟踪:校准与排序的分离:论文配图
图 1:前缀安全信念跟踪工作流程。离线校准适合观察函数、可能性、过渡动力学和可选读数。在线监控将每个前缀 x1:tx_{1:t} 映射到 oto_{t} 并更新最终成功信念。