将 LLM 与人类不确定性对齐：用于 LLM 预测的 Beta-Bernoulli 校准器

概率预测估计不确定的未来事件的可能性。为了改进 LLM 预测，现有方法通常从二元结果中学习以输出口头预测。然而，虽然汇总的人类预测在人群概率估计和预测者之间的一致性程度方面包含丰富的信息，但如何利用这些信号仍有待探索。为了解决这个问题，我们提出了 Beta-Bernoulli 校准器（BBC），它使用二元结果和人类预测的监督，将任何模型的初始点估计预测转换为事件可能性的分布。 BBC 对事件似然 $p \sim \text{Beta}(α, β)$ 和结果 $y \sim \text{Bernoulli}(p)$ 进行建模，其中均值作为校准点预测，方差作为认知不确定性。我们的结果表明，与传统的事后校准方法和专门针对预测进行微调的模型相比，BBC 通常提供更好的校准和更准确的预测，同时保持轻量级并具有良好的泛化性。我们还表明，BBC 捕捉到的认知不确定性是比口头信心更可靠的预测误差预测指标。