论文
答案词元如何读取推理痕迹？定量推理的自读思维模式 LLM
How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning
摘要
思考LLM 在回答之前产生推理痕迹。先前的激活引导工作主要针对塑造这些痕迹。人们对答案标记如何实际读取和整合推理以产生可靠结果的了解仍然较少。着眼于定量推理，我们分析了推理答案的注意力，并观察到与正确性一致的良性自读模式，其特征是阅读焦点沿着推理轨迹向前漂移，并且持续集中在关键语义锚点上，而不正确的解决方案表现出分散和不规则的注意力模式。我们将其解释为答案解码过程中的内部确定性，其中模型致力于可行的解决方案分支并集成关键证据。在此之后，我们提出了一种由自读质量（SRQ）分数驱动的 无需训练 转向方法，该方法结合了用于过程控制的几何指标和用于内容监控的语义指标。 SRQ 选择数据来构建引导向量，引导推理走向良性自读，远离不确定和无序的阅读。实验表明，我们的方法可以产生一致的精度增益。