在 LLM 中集成局部和全局熵以进行不确定性量化

大语言模型 自信地产生幻觉，使得不确定性量化 (UQ) 对于可靠部署至关重要。现有方法主要依赖于 词元级 信号，而中间隐藏状态的几何结构未得到充分利用。在本文中，我们将隐藏状态矩阵的几何复杂度作为LLM全局不确定性的度量，同时将词元级不确定性估计视为局部度量。我们证明隐藏状态几何熵（全局不确定性）和 词元级 熵（局部不确定性）在统计上接近正交，捕获不同的故障状态以进行可靠性预测。特别是，全局几何形状恢复了局部信号系统地错过的自信但错误的故障模式。在此基础上，我们提出了全局局部不确定性（GLU），这是一种无监督的单通道分数，通过乘法门融合两个信号。在三个模型系列和六个基准中，GLU 匹配或优于所有无监督基线，同时只需要一次前向传递并保持长度归一化和架构不可知。