DirEAG：用于校准数学推理中言语化置信度的Dirichlet证据聚合

可靠的置信度估计对在大语言模型数学推理中的应用至关重要，但黑盒的言语化置信度难以校准。当在多个置信度引导提示下查询同一问题时，所得的答案-置信度观测包含有用的不确定性信息，但其量纲可能随引导级别、模型和数据集而漂移。现有黑盒不确定性方法通常依赖答案一致性、样本一致性或熵，它们描述输出的变化，却不对自报告置信度的数值含义建模；相反，对引出置信度的直接平均或启发式聚合无法学习与提示和任务相关的偏差。我们提出DirEAG，一种Dirichlet证据聚合方法，它把每条引出的答案-置信度观测转换为覆盖所生成候选答案及一个附加空状态的经校准软证据，使模型能够表达候选答案皆不正确的情形。在GSM8K、SVAMP和GSM-Hard上使用Qwen、Mistral和Gemma模型的实验表明，与直接置信度平均和启发式置信度引导聚合相比，DirEAG往往在保持有竞争力的答案选择的同时取得更好的校准。消融实验进一步揭示，证据聚合与最终二值校准分别解决校准问题的不同部分。