J-CoT：J-空间中的思想链

思想链提示通过在连续的计算步骤中携带中间状态来改进语言模型推理。然而，依赖自然语言作为唯一的循环接口过于严格，因为许多瞬态计算不需要完全用语言表达。现有的潜在推理方法通过循环传播连续隐藏状态来消除这种约束。然而，这些方法将密集的隐藏向量作为一个整体传递，没有明确的机制来选择和组织下一步推理步骤所需的信息。这激发了一个中间界面，该界面保持语言基础，而不需要解码的句子。我们引入了 \textbf{J-CoT}，这是一个建立在 \emph{J-space} 之上的循环推理框架，\emph{J-space} 是模型隐藏表示中的词汇索引坐标系。在每个周期内，模型在其完整的隐藏空间中进行计算。在循环边界，J-CoT 将中间状态表示为词汇索引系数，将这些系数作为 \emph{J-thought} 向前传送，并将它们映射回模型的下一个循环的隐藏表示。因此，J-CoT 既不需要流畅的中间原理，也不需要在完整的隐藏状态上重现。在匹配的骨干网和推理设置下，J-CoT-Zero 在每个基准上都匹配或超过了最强的评估潜在推理基线，而 J-CoT-Train 在评估的数学、科学、编码和结构化路径推理任务中获得了最高分。