无言思考：抽象思维链的高效潜在推理

虽然长而明确的思想链 (CoT) 已被证明对复杂的推理任务有效，但在推理过程中生成它们的成本很高。通过利用连续表示，非语言推理方法已经出现，生成长度更短，但其性能落后于语言化 CoT。我们提出了 $\textbf{Abstract Chain-of-Thought}$，一种离散潜在推理 后训练 机制，其中语言模型在生成响应之前从保留词汇表中生成一小段标记序列来代替自然语言 CoT。为了使以前未见过的“抽象”标记变得有用，我们引入了一个策略迭代式的预热循环，该循环在（i.）通过掩蔽和执行监督 微调 从言语 CoT 产生瓶颈和（ii.）自我 蒸馏 之间交替，通过训练模型通过使用密码本进行约束解码仅根据提示生成抽象标记。预热后，我们在约束解码下通过热启动强化学习来优化抽象序列的生成。 Abstract-CoT 的推理标记数减少了 11.6 倍，同时在数学推理、指令跟踪和多跳推理方面表现出可比的性能，并在语言模型系列中进行了泛化。我们还发现了抽象词汇上的幂律分布，类似于自然语言中的幂律分布，它在整个训练阶段不断演变。我们的研究结果强调了 后训练 潜在推理机制的潜力，该机制可以通过学习的抽象推理语言实现有效的推理。