大语言模型提高世代真实性的自适应共形预测

摘要

大语言模型 (LLM) 很容易生成实际上不正确的输出。最近的工作应用了共形预测来为 LLM 世代的真实性提供不确定性估计和统计保证。然而，现有的方法通常不具有即时适应性，限制了它们捕获依赖于输入的可变性的能力。因此，对于给定的任务或提示，他们可能会过滤掉太少的项目（导致覆盖过度）或太多（覆盖不足）。我们提出了一种自适应共形预测方法，将共形得分转换方法扩展到 LLM，并应用于长格式生成和多项选择题回答。这可以实现即时相关的校准，保留边际覆盖率保证，同时提高条件覆盖率。此外，该方法自然支持选择性预测，允许在下游应用程序中过滤掉不可靠的声明或答案选择。我们在不同领域的多个白盒模型上评估了我们的方法，并表明它在条件覆盖方面显着优于现有基线。