LLM不确定性的剖析

理解大语言模型（LLM）为何对回复感到不确定，对其可靠部署十分重要。现有方法要么只提供一个单一的不确定性分数，要么依赖于经典的偶然-认知二分法，都无法为改进生成式模型提供可操作的洞察。近期研究也表明，这类方法不足以理解LLM中的不确定性。在本工作中，我们倡导一种不确定性分解框架，将LLM的不确定性剖析为三种不同的语义成分：(i) 输入歧义，源于含糊的提示；(ii) 知识缺口，由参数化证据不足造成；(iii) 解码随机性，来自随机采样。通过一系列实验，我们证明这些成分的主导地位会随模型规模和任务而变化。我们的框架为审计LLM可靠性、检测幻觉提供了更好的理解，为有针对性的干预和更可信的系统铺平了道路。