论文

定位智能体AI中的涌现失效:通过反事实回放恢复最小修复集合族

Localizing Emergent Failures in Agentic AI: Recovering Minimal Repair Families via Counterfactual Replay

智能体系统Agent任务评测

摘要

代理人工智能系统的故障可能是由多个大语言模型(LLM)代理交换的消息之间的交互引起的。逐点归因无法区分共同必要的修复和替代的单一修复。我们制定了最小修复族恢复(MRFR):恢复所有包含最小事件集,其反事实重放可在声明的大小范围内恢复任务成功。我们提出图约束联合重放(GCJR),它从执行依赖​​图中分割与故障相关的事件,构造图可行的单例和对候选者,并通过与成对的干净对应物重放来验证它们。对于固定的重播结果,GCJR 完全在其声明的图域内。在 120-DAG 控制基准的 90 个范围内案例中,GCJR 实现了 1.000 系列精确匹配,同时相对于穷举搜索将平均重放调用从 56.3 减少到 25.3 (55.1%)。在 24 个案例、四位代理人的 LLM 试点中,它再次实现了 1.000 族精确匹配,并将平均模型调用从 21.0 减少到 10.0 (52.4%);单事件重放错过了联合必要的修复。