检索增强语言校准

“我相信”和“可能”等语言线索为传达信心提供了直观的界面，但语言信心表达的通用的、有原则的校准框架仍未得到充分探索。特别是，同时出现的语言线索、语境变化和主观受众解释带来了独特的挑战。因此，我们将语言置信度建模为陈述正确的合理感知概率值的分布，捕获标量表示丢弃的解释可变性。在此分布框架内，我们引入 忠实性 作为补充评估维度，并提出 忠实性 分歧（FD），这是一种信息论指标，用于量化真相揭露后观众信念中引起的惊讶。在此基础上，我们提出了检索增强语言校准（RALC），这是一种轻量级事后管道，可通过检索增强重写将校准后的置信信号传播回自然语言。在三个 QA 基准和五个 LLM 系列中，RALC 将域内 忠实性 和校准分别提高了 66% 和 58%，优于黑盒和灰盒校准基线。