论文
CodeTracer:迈向可追踪代理状态
CodeTracer: Towards Traceable Agent States
摘要
代码代理正在迅速发展,但调试它们却变得越来越困难。由于框架在复杂的任务上编排并行工具调用和多阶段工作流程,使得代理的状态转换和错误传播难以观察。在这些运行中,早期的失误可能会使智能体陷入无效循环,甚至引发基本错误,形成隐藏的错误链,从而很难判断智能体何时偏离轨道以及原因。现有的代理跟踪分析要么专注于简单的交互,要么依赖小规模的手动检查,这限制了它们对实际编码工作流程的可扩展性和有用性。我们提出了 CodeTracer,一种跟踪架构,它通过不断发展的提取器解析异构运行工件,将完整的状态转换历史重建为具有持久内存的分层跟踪树,并执行故障发生定位以查明故障源及其下游链。为了实现系统评估,我们根据四个广泛使用的代码代理框架在不同代码任务(例如错误修复、重构和终端交互)上生成的大量执行轨迹构建了 CodeTraceBench,并在阶段和步骤级别进行监督以进行故障定位。实验表明,CodeTracer 的性能大大优于直接提示和轻量级基线,并且重放其诊断信号可以在匹配的预算下持续恢复最初失败的运行。我们的代码和数据是公开的。