递归概念演化：推理时调整语言模型的内部表示

大语言模型在许多复杂推理任务上表现强劲，但在需要组合推理的基准上准确率急剧下降，包括 ARC-AGI-2、GPQA、MATH、BBH 和 HLE。现有方法通过思维链提示、自一致性或强化学习扩展词元级搜索来改进推理，但模型潜在表征空间保持固定。当所需抽象未被编码在该空间中时，性能崩溃。我们提出递归概念演化（RCE），一个让预训练语言模型在推理过程中修改内部表征几何的框架。RCE 引入动态生成的低秩概念子空间：在检测到表征不足时生成、依据最小描述长度准则选择、在协同时合并，并通过约束优化巩固以保持稳定。该过程使模型能够构建新抽象，而非重组既有抽象。我们将 RCE 与 Mistral-7B 集成，并在组合推理基准上评估。RCE 在 ARC-AGI-2 上带来 12-18 分提升，在 GPQA 和 BBH 上提升 8-14 分，并在 MATH 和 HLE 上持续降低深度导致的误差。