从 大语言模型 中的约束推理流形进行推理

大语言模型 中的推理主要通过标记的基准进行评估，将任务性能与内部推理的质量混为一谈。在这里，我们通过检查推理过程中内部表征的演变来研究推理作为一个内在的动态过程。我们发现推理时间动力学始终自组织成嵌入高维表示空间中的低维流形。我们发现这种几何压缩虽然普遍存在，但不足以进行稳定或可靠的推理。相反，有效的推理动态出现在受约束的结构体系中，其特征在于三个条件：足够的表征表达性、自发流形压缩以及压缩子空间内非简并信息量的保存。该体系之外的模型表现出典型的病态推理动态。基于这些见解，我们引入了一种仅根据内部动态计算的统一的、无标签的诊断。这些发现表明，LLM 中的推理从根本上受到几何和信息约束的控制，为以基准为中心的评估提供了补充框架。