论文
DeFA:LLM Agent的依赖引导故障归因
DeFA: Dependency-Guided Failure Attribution for LLM Agents
摘要
LLM Agent执行中的错误及其可见后果可以由许多步骤分开,这使得决定性错误定位成为了解步骤内容和步骤依赖性的问题。我们引入 DeFA,一个用于Agent失败归因的依赖引导框架。 DeFA 首先将协议关系和语义依赖组合成跨越轨迹的事件依赖图。然后,它识别可能违反任务要求的事件,并跟踪其来源和后续影响,以构建故障传播图。最后,DeFA 使用步骤证据和步骤在故障传播中的角色来识别决定性错误、责任Agent和错误类别。为了支持长轨迹,DeFA 将执行划分为多个片段,并将当前片段的详细内容与其他片段的摘要相结合,从而提供对全局执行上下文的本地诊断访问。在 Who and When 和 Who and When Pro 文本子集中,DeFA 在所有评估的骨干网中实现了最高的负责Agent和精确的步骤准确性,并且在 Pro 上的分类法对齐方法中实现了最高的故障模式准确性。对图像和视频轨迹的进一步实验证明了其对多模态故障归因的适用性。消融支持分段、事件依赖图和故障传播图的贡献。在 Trace2Skill 中使用 DeFA 的技能进化诊断反馈可将下游任务的准确性比本机管道提高 6-15 个百分点,这表明诊断还可以支持Agent对后续任务的改进。