从计划到行动：代理执行计划的情况如何？

通常指示代理遵循特定任务的指导计划。然而，目前尚不清楚Agent在多大程度上真正遵循了指示的计划。如果没有这样的分析，确定代理遵守给定计划的程度，就不可能评估是否通过正确的战略推理或通过其他方式（例如数据污染或过度拟合基准）达成解决方案。本文首次对编程代理中的计划合规性进行了广泛、系统的分析，检查了 SWE-agent 在 SWE-bench Verified 和 SWE-bench Pro 上的四个 LLM 上八种计划变化下的 21,120 个轨迹。如果没有明确的计划，代理在训练期间就会依赖内部化的工作流程，这些工作流程通常不完整、过度拟合或应用不一致。提供标准计划可以提高问题解决率，我们发现定期计划提醒可以减少计划违规并提高任务成功率。低于标准的计划对绩效的影响甚至比没有计划更大。令人惊讶的是，在早期阶段插入额外的任务相关阶段可能会降低性能，特别是当这些阶段与模型的内部问题解决策略不一致时。这些发现需要 微调 范式来教导模型遵循指示的计划，而不是在其中编码特定于任务的计划，以便它们自适应地推理和行动，而不是记住工作流程。