论文

从扁平日志到因果图:面向基于LLM的多智能体系统的分层失败归因

From Flat Logs to Causal Graphs: Hierarchical Failure Attribution for LLM-based Multi-Agent Systems

AI 基础设施可观测性

摘要

基于LLM的多智能体系统(MAS)已在复杂领域展现出卓越能力,但存在内在脆弱性与不透明的失败机制。现有失败归因方法——无论是依赖直接提示、代价高昂的重放,还是有监督微调——通常把执行日志当作扁平序列。这种线性视角无法解开MAS固有的复杂因果链接,导致可观测性弱、责任边界模糊。为应对这些挑战,我们提出CHIEF,一个把混乱轨迹转化为结构化分层因果图的新框架。随后它采用分层Oracle引导的回溯,借助合成的虚拟Oracle高效剪枝搜索空间。最后,它通过渐进式因果筛选策略实现反事实归因,严格区分真正的根因与传播的症状。在Who&When基准上的实验表明,CHIEF在智能体级与步骤级准确率上均优于八个强基线与最先进方法。消融研究进一步确认了每个所提模块的关键作用。

从扁平日志到因果图:面向基于LLM的多智能体系统的分层失败归因
图2:CHIEF 概览。