评估不确定性估计器与 LLM 幻觉的相关性

大语言模型（LLM）容易产生幻觉，即输入或训练数据不支持的陈述，从而阻碍可靠部署。与此同时，人们提出了许多不确定性估计（UE）方法来量化模型置信度，并且通常被隐式地视为模型失败的代理。然而，不确定性和幻觉之间的关系仍然没有得到充分的表征。我们在 LLM 中对不确定性估计量与幻觉之间的关联进行了系统的实证研究。我们不是假设这种关联，而是直接评估它何时以及在多大程度上成立。我们考虑了一组不同的不确定性估计器，包括信息论估计器、基于采样的估计器和反射估计器，并检查它们在幻觉环境中的行为。我们的实验涵盖内在幻觉（违反输入 忠实性）和外在幻觉（与训练数据相关的不受支持的主张），使用四个互补基准，包括 RAGTruth 和 HalluLens。我们发现这种关联变化很大，而且通常很弱，具体取决于幻觉类型和评估中的 LLM。这些结果挑战了使用不确定性作为幻觉的直接信号，并澄清了它何时提供了可操作的信息。