论文
TRAJDEBUG:追踪错误生命周期以识别长程Agent轨迹中的关键失效
TRAJDEBUG: Tracing Error Lifecycle to Identify Critical Failures in Long-Horizon Agent Trajectories
摘要
基于LLM的代理系统在复杂领域表现出非凡的能力,但面临错误累积和调试困难的问题。关键错误检测旨在定位导致最终失败的最早错误步骤。然而,进展面临着两个主要挑战。首先,长轨迹难以识别单个错误,因为判断一个步骤的证据可能散布在整个指令、观察和前文上下文中。其次,失败轨迹通常包含多种局部错误,但其下游影响不同,只有部分错误对最终失败负责。在这项工作中,我们提出了TrajDebug,这是一种基于多粒度历史压缩和证据识别的错误生命周期追踪框架,支持关键属性的追溯,包括每个错误的解决状态及其终端影响。我们进一步构建了TrajErrBench,这是一个从Tau2Bench和SWE-Bench Pro手动标注的486个失败轨迹中构建的基准,覆盖现实工具使用和编程场景。在不同代理基准上的实验表明,TrajDebug在现有基线上表现出最佳的整体性能,并且应用研究进一步证明其诊断结果为改进下游代理的成功提供了可操作性的反馈。我们将释放代码和数据以促进进一步的研究。
