深度思考、一次输出：ReLIT递归潜在隐式Transformer框架

思维链（CoT）提示词已成为激发大语言模型（LLM）推理的主导范式，但它迫使模型将中间推理步骤外化为离散token，带来可观的计算开销。近来的潜在推理方法试图将该过程内化到连续隐藏状态中。作为潜在推理领域的最新进展之一，Tiny Recursive Models（TRMs）擅长符号推理，却难以在自然语言场景中保持语义连贯。为弥合这一差距，我们提出ReLIT（Recursive Latent Implicit Transformer），一种将深度递归推理植根于基础模型丰富语义表示的混合框架。ReLIT在冻结的LLM主干（TinyLlama-1.1B）上增设一个轻量、可训练的递归模块，在生成最终输出前迭代精炼其潜在思考（z），在结构上将语言直觉与算法处理解耦，并通过梯度隔离的循环实现“深度思考”，而无需显式token生成带来的延迟。实验上，ReLIT在GLoRE逻辑推理基准上取得高参数效率，在极少监督下于ProofWriter和RuleTaker等挑战性任务上匹敌或超越规模大得多的模型。这些结果表明推理能力可以通过递归深度而非参数宽度高效扩展，为语义扎根的隐式推理提供了一个有原则的框架。