标准化流程的潜在推理

大语言模型 通常通过生成显式思维链 (CoT) 来改进推理，证明了中间计算的重要性。然而，文本 CoT 强制通过离散、串行和面向通信的词元流进行计算：每个推理步骤都必须在模型继续之前进行语言化，即使底层更新是语义的、不确定的或仅部分形成的。潜在推理通过在提交文本之前在紧凑连续状态下执行中间计算来提供更高带宽的替代方案。然而，现有的潜在推理方法常常牺牲使 CoT 在自回归语言模型中有效的关键优势，包括本机从左到右生成、概率采样、与 KV 缓存解码的兼容性以及易于处理的似然估计。我们提出了 NF-CoT，这是一种潜在推理框架，通过使用标准化流程对连续思想进行建模来保留这些优势。 NF-CoT 在 LLM 主干内实例化 TARFlow 风格的标准化流程，在从显式 CoT 中提取的紧凑连续思想上定义了一个易于处理的概率模型。连续思维位置由 NF 头生成，而文本位置由同一因果流中的标准 LM 头生成。该设计为潜在想法提供了精确的可能性，支持使用原始 KV 缓存进行概率性从左到右解码，并支持潜在推理空间中的直接策略梯度优化。在代码生成基准上，NF-CoT 比显式 CoT 和先前的潜在推理基准提高了通过率，同时大幅降低了中间推理成本。