潜在递归思考：在冻结大语言模型中通过递归细化候选潜表示进行推理

思想链推理在离散的标记空间中展开：每个步骤都以文本形式提交，错误传播，并且引出良好的痕迹以模仿的痕迹为前提。相反，在模型的连续表示空间中进行推理（其中中间状态是向量而不是单词）回避了这些约束，但未解决如何计算这些潜在状态的问题。我们沿着两个轴来解决这个问题。首先，我们冻结一个大语言模型（LLM），并将其用于它已经擅长的领域——建模和解码序列——同时一个小型辅助网络提供连续的潜在想法作为输入。其次，我们通过递归产生这些潜在变量：一个微小的循环推理器通过多个步骤对它们进行细化，将计算深度与模型的大小解耦，以便潜在变量是迭代处理的产物，而不是单个前向传递的产物。我们将其实例化为潜在循环思想（LRT）：一个专用于任务的提议器提供基本潜在值，一个循环推理器通过有界残差校正对其进行细化，而冻结的 LLM 则对答案进行解码。在有答案监督但没有推理痕迹的符号推理（Countdown-4、Sudoku）和自然语言推理（HumanEval、MBPP、StrategyQA）上，LRT 在相同的解码器、提示、数据和训练预算下明显优于先前的冻结解码器连续空间推理方法，并且在推理计算的一小部分的情况下优于同一主干上的非思维模式思想链提示。