分歧的几何：追踪隐状态轨迹以实现自适应多轮推理

LLM 代理需要在严格的资源限制下，在长时间的多轮交互中维持目标一致的推理。然而，随着多轮上下文的积累，它可能会破坏早期轮次中任务相关信息的底层 LLM 内部表示的稳定性，模糊建设性推理和表示漂移之间的界限。我们将多回合推理制定为底层 LLM 的隐藏状态轨迹，其特征是通过两个互补信号：捕获回合间更新的方向一致性的时间曲率，以及衡量探索空间的扩展或收缩的方差斜率。在四项任务和三个基础LLM中，我们观察到这些几何信号在完成之前区分正确和不正确的事件。我们进一步将每个情节分解为由四个动作（读、写、响应、传输）形成的三个动作链，并表明可分离性是依赖于动作的，用不同的信号区分不同的链模式。我们的实验表明，轨迹几何可以识别推理过程中的关键转折点，将 $τ$-Bench 上的任务成功率从 24.1% 提高到 39.6%，同时将token成本降低 11.2%。