论文
置信度验证器研究分开测量排序、拒答与纠错收益
Consistency Is Not Correction: Separating Confidence, Abstention, and Recovery in LLM Agents
摘要
为答案重采样、升级到更大模型或放弃回答的控制器通常依赖置信信号。信号能够排序答案、帮助决定何时不作答、以及帮助将答案纠正,是三个彼此独立的命题。我们把纠正效用精确分解成门控恢复数减去门控制造的错误数,由此事先判断比较能否检出效果。只会替换初始答案的门控要产生正效应,必须触达基线已经答错的样本,因此基线错误数限制可产生的差异对数量。若上限低于配对检验所需数量,实验既无法检出有效机制,也无法区分它和从未触发的门控。我们在两种规模上测量三个目标。在小模型实验中,基于扰动一致性的验证器在同策略内达到 0.990 AUROC(95% 区间 [0.95, 1.00]),调用量是单样本解码的 4.32 倍,但各轮结果相同。840 轮受控实验中,没有验证器替换 60 个 GSM8K 决策中的任何一个。六个控制器的 GSM8K 增益全部来自一个任务,而同一任务在温度为零的重复执行中结果不一致。诊断集中门控最多触达四处错误,检验需要六处,因此完美门控也无法检出显著结果。我们给出两项可提前检查的办法,并说明排序平局处理、选择截断平局、输出限制不等都可改变同一数据集的主要数值。制约所研究问题的是测量分辨率。
