沙丘社区
论文

Second Guess：在小语言模型中通过弃答与答案稳定性检测不确定性

Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models

Ashwath Vaithinathan Aravindan, Mayank Kejriwal
模型推理推理验证与自校正

摘要

大语言模型在不确定时往往生成自信却错误的答案，而不是选择弃答。这一问题对小语言模型（SLM）尤为突出：计算约束和自主运行放大了对可靠不确定性检测的需求。我们提出 Second Guess，一种轻量、无参数的提示技术，用于多选题问答（MCQA）中的弃答，非常适合SLM。我们的关键经验性洞察是：真正知道答案的模型会稳定地选中它，而不确定的模型在加入"我不知道"选项后会表现出不稳定行为。在四个开源模型（2B-8B参数）和四个基准上的评估显示，Second Guess取得了最高10.81%的复合风险改进。值得注意的是，在熵类方法性能退化的微调模型上，它仍保持8%的复合风险改进，并且对表现较差的模型改进最大。复现本工作所需的全部代码和结果见 https://github.com/Mystic-Slice/second-guess

Second Guess：在小语言模型中通过弃答与答案稳定性检测不确定性：论文配图
图 1：二次猜测技术概述。该模型会提示两次：一次使用原始选项，一次添加“我不知道”选项。如果模型的答案在两个提示之间发生变化，则被归类为弃权；否则，保留原始答案。