对于流匹配的潜在推理来说什么很重要

潜在推理让大语言模型 (LLM) 在连续的空间中思考并仅用语言表达答案。我们认为，有效的潜在思想必须满足五个要求：它应该是有用的，有助于产生正确的答案，而不是仅仅改变它；多样化，以便重采样产生不同的推理轨迹；可解释，以便解码的思维链（CoT）反映答案实际遵循的推理；可以通过更多的推理计算进行细化；以及高效，在相当的精度下，成本低于显式 CoT。当前的方法很少满足这些要求：它们从问题中学习捷径，将显式 CoT 提取到它们的权重中，或者一次模仿一个token。我们专注于学习型潜空间中的流程匹配，我们认为该系列最适合满足这些要求，并确定使其发挥作用的训练选择。结果是基于流的潜在推理 (FLaRe)，这是一个简单的方法，涵盖了潜空间编码的内容以及如何塑造它、在哪里训练流、如何读出答案以及训练基于模型自己经过验证的想法的最后阶段。每个要求的探针表明 FLaRe 在所有五个方面都改进了先前的潜在方法。它在算术基准测试中也与它们相比毫不逊色，同时在四分之一的延迟下达到了显式 CoT 的 97% 的准确度。