论文
ChainUQ：面向大语言模型的推理一致性感知不确定性量化
ChainUQ: Reasoning Consistency-Aware Uncertainty Quantification for Large Language Models
摘要
尽管大语言模型（LLM）展现出令人印象深刻的推理能力，当中间论断与最终结论相冲突时，响应级置信度可能仍不可靠。因此，需要有效的不确定性量化（UQ）来捕捉推理链内部的逻辑不一致，而不仅仅是最终输出的正确性。当前方法有两大局限：（1）依赖token级概率，无法捕捉推理一致性；（2）缺乏利用所生成推理链的结构逻辑来动态校准置信度的机制。为推进现有研究，我们提出ChainUQ，一个面向LLM的推理一致性感知不确定性量化框架。ChainUQ包含两个关键技术组件：一个对齐感知的轻量级UQ模块，从与最终结论对齐的冻结特征中估计原始的模型内在置信度分数；以及一个推理一致性感知校准器，利用推理链一致性证据对该分数进行精炼。在多样化的分布内与分布外基准上的评测表明，ChainUQ持续改进响应级不确定性估计，AUROC平均相对提升3.1%，ECE相对降低最高达45.0%，并且无需额外微调即可直接迁移到新场景。
