通过潜在空间中的约束优化进行高效推理

大型推理模型（LRM）已经表现出了卓越的推理能力，但它们仍然存在过度思考的问题，产生冗余的推理步骤，从而导致大量的词元消耗。现有的方法，例如抑制反射关键字或强制缩短推理长度，试图缓解这个问题，但不可避免地会截断必要的步骤并导致思考不足，从而影响性能。为了解决这个困境，我们研究了潜在表示，并观察到有效的推理步骤自然地聚集到潜在空间中的集中区域，而偏离该区域的步骤往往会产生冗长的序列。为了利用这一点，我们通过二次程序将推理集中在该区域内，该二次程序将偏离的隐藏状态投影回该区域。然后，我们提出了一种新颖的免训练框架来实现高效推理，在不牺牲性能的情况下降低词元生成成本。对从 1.5B 到 14B 的四种模型以及数学推理、编码和科学 QA 的六个基准进行了广泛的实验，验证了我们方法的有效性，准确度提高了 12.1%，同时将生成的标记减少了 11.8% 到 52.8%。代码可在 \href{https://github.com/hzn18/Opt4Reasoning}{https://github.com/hzn18/Opt4Reasoning}. 获取