论文
从异常到故障:构建 Agentic 跟踪诊断的因果错误图
From Anomalies to Failures: Constructing Causal Error Graphs for Agentic Trace Diagnosis
摘要
LLM 驱动的Agent越来越多地部署在复杂的应用程序中,其中长 agentic 跟踪使得故障难以诊断。现有的痕迹诊断方法常常将异常、错误和故障混为一谈,导致诊断目标模糊不清;它们还缺乏关于因果相关错误如何传播和放大到最终任务失败的结构化建模,从而导致不可靠的失败归因。为了解决这些问题,我们提出了 CEG-Agent,这是一种工具增强的 agentic 框架,用于 agentic 痕迹的因果诊断。具体来说,CEG-Agent 引入了异常、错误和故障的显式分类法,并构建了因果错误图 (CEG),这是一种通过因果关系链接执行事件、诊断节点和故障结果的统一类型表示。为了评估因果追踪诊断,我们进一步构建了 CEG-Bench,这是一个完全由Agent注释的基准,具有通过对抗性 Agentic 裁决协议 (AAAP) 获得的高置信度、共识衍生的 CEG 注释。我们根据专家策划的人类黄金集验证了生成的注释,这表明与自动注释非常一致。 CEG-Bench 上的实验表明,CEG-Agent 在语义宽松和结构精确的评估标准下均实现了最先进的性能。我们的代码是公开的。