聚类自我评估：大语言模型 中不确定性量化的简单而有效的方法

大语言模型 (LLM) 在不同的任务中表现出卓越的性能，但它们经常生成看似合理但实际上不正确的响应。由于缺乏明确的不确定性估计，这个问题变得更加复杂，这使得用户很难判断模型输出的可靠性。现有的不确定性量化方法通常依赖于间接信号，例如采样代之间的熵。这些信号可能难以解释，并且无法充分利用模型评估其自身不确定性的能力。我们在 LLM 中提出了一种简单而有效的不确定性量化自我评估方法。我们的方法将采样代分组为语义上不同的簇，将它们转换为结构化多项选择问题中的答案选项，并使用 LLM 分配给每个选项的概率作为置信度估计。跨多个模型和数据集的实验表明，我们的方法始终优于基线方法。值得注意的是，它仅用两个额外样本即可实现具有竞争力的性能，证明了其有效性和效率。