TurnSight：用于工具集成推理的旋转级后见之明 Self-蒸馏

工具集成推理 (TIR) 使 LLM 能够通过迭代工具交互来解决复杂任务。然而，现有的强化学习方法通​​常依赖于轨迹级监督，限制了长视野 TIR 场景中的细粒度信用分配。 同策略自蒸馏 通过具有特权上下文的教师分支提供更密集的信号，但现有方法通常从 真值 答案或检索到的技能中获取此类上下文，这可能无法反映代理实际访问的状态。此外，词元级 监督无法捕获工具交互的回合级结构。为了解决这个问题，我们提出了 TurnSight，这是一个回合级事后自我 蒸馏 框架，直接从执行条件事后获得监督。然后，它构建具有不同前瞻视野的多个后见之明视图，并通过跨视野定向协议选择可靠的监督。最后，选定的后见之明信号在同组轨迹中进行归一化，并用于自适应调节 RL 优势，同时保留其原始优化方向。对三个基准的大量实验证明了 TurnSight 的有效性。我们的代码可从 https://github.com/quchangle1/TurnSight 获取。