通过不确定性量化模糊度在错误预测中的作用

误差预测的任务，即预测模型输出是否正确，通常通过不确定性量化（UQ）来解决。然而，虽然不确定性指标可以捕获模型缺乏预测知识或能力的情况，但它们也反映了模型输入和上下文中固有的任意不确定性。本文提出了一种通过消除 UQ 信号中的输入模糊性来改进 大语言模型 (LLM) 错误预测的方法。我们使用六个 UQ 指标对问答 (QA) 任务进行实验，结果表明，与具有多个合理答案的问题相比，UQ 指标更能预测明确实例上的错误。我们使用门控专家和选择性预测将人工标注和预测的模糊度标签合并到错误预测管道中。我们发现，模糊性信息可以提高模型系列、训练和评估范式、数据集（包括据称明确的数据集）以及任意不确定性来源的错误预测分数，从而使标准数据集上的单个 UQ 指标的 PRR 提高超过 10 个点。