论文
利用语义保持嵌入的梯度估计大语言模型不确定性
Gradients with Respect to Semantics Preserving Embeddings Tell the Uncertainty of Large Language Models
摘要
不确定性量化是提高 LLM 可信度的重要技术，因为模型可能产生幻觉。现有自由生成任务中的领先方法高度依赖采样，计算成本和方差较高。论文提出首个面向自由生成的梯度式不确定性量化方法 SemGrad，无需采样、计算高效。不同于此前针对分类任务、在参数空间计算梯度的方法，SemGrad 考虑语义空间中的梯度。其直觉是，置信度高的 LLM 在语义等价输入扰动下应保持稳定的输出分布。论文通过语义空间梯度解释这种稳定性，并提出语义保持评分 SPS，以识别最能保留语义、适合计算梯度的嵌入。研究还提出 HybridGrad，结合 SemGrad 与参数梯度的优势。实验显示，两种方法均能高效、有效地估计不确定性，表现优于现有领先方法，特别是在存在多个有效回答的场景。