LLM 作为轨迹推理：特定步骤的表示几何和正确性信号

这项工作将 大语言模型 的思想链生成描述为通过表示空间的结构化轨迹。我们证明，数学推理遍历功能有序、特定步骤的子空间，这些子空间随着层深度的增加而变得越来越可分离。这种结构已经存在于基础模型中，而推理训练主要加速向终止相关子空间的收敛，而不是引入新的表征组织。虽然早期的推理步骤遵循相似的轨迹，但正确和错误的解决方案在后期会系统性地出现分歧。这种后期分歧使得最终答案正确性的中期推理预测成为可能，ROC-AUC 高达 0.87。此外，我们引入了基于轨迹的转向，这是一种推理时间干预框架，可以基于导出的理想轨迹进行推理校正和长度控制。这些结果共同建立了推理轨迹作为解释、预测和控制 LLM 推理行为的几何透镜。