推理的几何特征：任务难度的光谱视角

思想链 (CoT) 推理使 大语言模型 (LLM) 能够通过生成中间推理步骤来解决复杂问题。尽管人们对这些推理链的长度和内容给予了很多关注，但对其内部几何结构却知之甚少。我们研究了 Transformer 模型隐藏状态空间中 CoT 轨迹的 \emph{geometry}，将每个推理链形式化为 $\mathbb{R}^d$ 中的离散曲线，并通过谱、位置和运动几何泛函来表征它。我们引入有效维度 $d_ρ$ 作为轨迹复杂性的度量，并从理论上表明，具有平坦特征值谱的轨迹对应于更困难的任务，因为它们探索更多的隐藏维度。最后，我们探讨了如何使用轨迹的运动学特征、平均位置、位置色散、初始和当前隐藏状态、平均速度、平均速度和速度色散在生成完成之前预测解的正确性，并可能为未来的提前停止策略提供信息。实验上，在 MATH500 数据集的数学推理问题上，$d_ρ$ 在区分简单问题和困难问题方面达到了 $0.93$ AUC，而运动学特征可能只能根据生成的标记的前 $20\%$ 来预测正确性。这些正确性签名在不同难度的问题上传递，确定模型内部推理轨迹的形状是了解任务难度和解决方案质量的原则窗口。