论文

揭示过完备推理轨迹中极小核心的表示几何

Uncovering the Representation Geometry of Minimal Cores in Overcomplete Reasoning Traces

模型评测模型行为与机制分析

摘要

语言模型常生成长思维链轨迹,但目前仍不清楚其中有多少推理对保持最终预测是必要的。我们从过完备推理轨迹的视角研究这一问题:所谓过完备轨迹,是指生成的轨迹所含中间步骤多于支撑模型答案所需的数量。我们将极小核心定义为能保持最终答案或预测分布的最小步骤子集,并引入压缩比、冗余质量、步骤必要性与必要性集中度等度量。在涵盖算术、竞赛数学、专家科学推理和常识多跳问答的六个深思型推理基准上,我们发现存在显著的过完备性:在贪心极小核心抽取下,平均46%的步骤可被移除,同时在86%的案例中保持原答案不变。我们还发现预测支撑高度集中:排名前三的步骤平均占总必要性质量的65%。除压缩之外,极小核心还揭示出更清晰的推理几何:与完整轨迹相比,它们将正确与错误轨迹的可分性提升11分,使估计的内在维度降低34%,并在跨模型家族迁移时保持85%的非对角答案保持率。在理论上,我们证明了极小充分子集的存在性、贪心消除的局部不可约性保证,以及过完备性与稀疏必要性的证书。综合来看,这些结果表明完整推理轨迹往往冗长且过完备,而极小核心能够分离出语言模型预测背后的有效支撑。

揭示过完备推理轨迹中极小核心的表示几何:论文配图
图 1:LLM 推理轨迹基本上过于完整。生成的痕迹包含一个稀疏的预测核心,周围环绕着可移动的推理块。最小核心提取将答案支持步骤与冗余阐述分开,并揭示了紧凑的、可转移的推理表示几何。