论文

超越标量:以几何进展与稳定性评估理解LLM推理

Beyond Scalars: Evaluating and Understanding LLM Reasoning via Geometric Progress and Stability

模型评测评测方法与指标

摘要

用标量概率评估LLM可靠性常无法捕捉推理的结构动态。我们提出TRACED:以有理论依据的几何运动学评估推理质量的框架。把推理轨迹分解为进展(位移)与稳定性(曲率),我们揭示出明显的拓扑分化:正确推理表现为高进展、稳定轨迹,而幻觉的特征是低进展、不稳定模式(位移停滞伴高曲率波动)。利用这些特征,概率化框架在各基准上取得有竞争力的性能与更强的鲁棒性。关键是,TRACED把高曲率映射为「犹豫回路」、位移映射为「确定性累积」,衔接几何与认知,为解码机器思维的内部动态提供物理透镜。

超越标量:以几何进展与稳定性评估理解LLM推理:论文配图
图 1:推理质量的拓扑分歧。结构化域和开放域的累积位移 (MM) 和曲率 (KK) 的联合分布。可视化确认了一致的分离:正确的推理轨迹(蓝色)表现出高位移、低曲率模式,而错误的链(红色)则具有低位移停滞和高曲率振荡的特征。