论文
Score $\times$ 解码器:缓解幻觉的无监督推理时间缩放的统一视图
Score $\times$ Decoder: A Unified View of Unsupervised Inference-Time Scaling for Hallucination Mitigation
摘要
即使答案在他们的参数范围内,大语言模型 也会产生幻觉。虽然推理时间缩放可以揭示这些潜在知识,但最有效的方法需要监督:训练有素的验证者或奖励模型。我们问仅使用基本语言模型可以做什么:哪种内在信号最好地识别正确的输出,以及应该如何对其进行解码?我们将其作为一个分数~$\times$~解码器网格,将四个分数(困惑度、对比、功率分布可能性和自我验证)与三个解码系列(优化、采样、共识)配对,并使用基础和指令调整的 Qwen3-1.7B 评估 MATH500 上的每个单元。虽然自我验证(提示模型判断自己的答案并通过 无需训练 虚拟思维前缀进行强化)在大多数设置中效果良好,但没有分数具有固定的质量:其价值取决于使用它的解码器和模型能力。当没有监督可用时,必须一起选择分数和解码系列。