在 大语言模型 中实现高效的不确定性估计

不确定性估计对于在医疗保健和金融等高风险应用中部署 LLM 非常重要，在这些应用中，幻觉可能看起来流畅且可信，但实际上并不正确，这使得用户很难判断输出是否值得信任。现有方法需要一个或多个完全自回归生成来估计不确定性，这会引入大量的推理成本，并且常常会延迟不确定性评估。在本文中，我们研究是否可以通过部分生成甚至仅输入信息来实现有效的不确定性估计。具体来说，我们首先开发一个统一的框架，将不确定性估计制定为 LLM 自回归生成过程的早期估计问题。该框架通过他们观察到的信息来组织现有和提议的估计器，范围从多代到仅输入预测，并阐明了不同不确定性估计方法背后的性能成本权衡。基于这一观点，我们研究了两种很大程度上未被充分探索的低成本设置：估计部分生成的不确定性，以及根据输入提示预测不确定性。我们提出了 logits Magnitude，它使用 top-M logits 证据来估计早期停止的生成前缀的不确定性，以及 MetaUE，它将基于生成的不确定性提炼为用不确定性分数训练的轻量级仅输入估计器。对通用和特定领域基准的大量实验表明，logits Magnitude 具有强大的性能，并且 LLM 的部分生成通常足以进行有效的不确定性估计。 MetaUE 进一步在多种设置中提供了具有竞争力的仅输入近似值。这些发现表明，有效的不确定性估计所需的生成量比通常假设的要少，从而能够更早地识别不可靠的响应。