大语言模型 语义嵌入的特征值校准

不确定性量化是 大语言模型 (LLM) 可靠部署的核心，语义嵌入的特征值最近已成为最先进方法中的关键工具。然而，为分类概率开发的传统校准结果不能直接转换为特征值。我们通过提出一种用于校准语义嵌入特征值的新颖框架来解决这一差距。我们将 LLM 与其生成的答案的语义嵌入结合起来解释为密度矩阵预测器，并且我们提出了一种通过将温度缩放应用于其特征值来校准密度矩阵预测器的新方法。我们在校准下建立熵风险等价，推导特定于特征值的中心校准不等式，并证明温度标度特征值在最小化适当分数风险时优化校准。对各种现实世界设置的实验表明，当前的 LLM 系统性地过度自信，并验证了我们的理论发现。这些结果共同推进了语义嵌入不确定性量化的基础和实践。