论文

经结构不确定性量化LLM逻辑推理一致性

Quantifying Consistency in LLM Logical Reasoning via Structural Uncertainty

模型评测评测方法与指标

摘要

大语言模型可经不稳定、矛盾或难以一致排序的推理路径得出相同答案——该失败模式在多步演绎推理中尤为普遍。既有方法主要通过输出离散度评估可靠性——度量抽样答案差异多大——但这丢弃了互补信号:模型能否一致地为竞争推理候选排序。我们提出结构不确定性——一致性感知框架——导出自抽样推理解上自我偏好诱导排序的稳定性。给定查询——我们生成多个候选解——并让模型对其自身输出做成对偏好判断。我们经带PageRank的Bradley-Terry建模把自我偏好聚合为排序分布——并把信号分解为两个基于熵的成分:跨试次排序不稳定与试次内候选歧义。跨五个LLM与八个基准——结构信号提供与答案离散度互补的信息:在逻辑与数学推理任务上——组合改进不可靠实例的识别;而在事实检索上结构信号坍缩向均匀——诊断出推理级一致性评估无信息量的机制边界。两个成分与准确率的关系不同:试次内歧义与正确性正相关——与多条合理解路径保持竞争的设定一致;跨试次不稳定负相关——标记不可靠推理。结构不确定性最好被理解为机制敏感的逻辑推理一致性评估器——而非通用置信估计器。

经结构不确定性量化LLM逻辑推理一致性:论文配图
图 1:对比基于分散性和结构一致性评估的说明性示例。 (a)当所有五个抽样推理候选者都同意相同的错误答案(20)时,基于分散的方法报告零熵和低不确定性,因为它们不使用候选者之间的偏好顺序信息。 (b) 我们的结构方法要求模型在独立试验中对自己的推理输出进行排名。排名完全不稳定(r3 从#1 移动到#5),揭示了推理的不一致并不能仅通过答案分散来反映。