论文
DAAF:从故障定位到 LLM Agent 中的可编辑系统资产
DAAF: From Failure Localization to Editable System Assets in LLM Agents
摘要
已部署的LLMAgent越来越依赖于持久的、版本化的系统资产,例如路由规则、知识片段、提示指令和可重用技能。故障定位方法可以识别Agent或执行跟踪中出现错误的位置,但修复需要不同的决策:应更改哪些可编辑系统资产,以及该更改是否有望改善任务结果?我们通过组件属性故障归因来研究这一差距,其中诊断目标是版本化的、可寻址的项目,而不是执行位置。我们提出了检测感知归因框架(DAAF),它学习有效属性替换的影响,并将这种干预证据分摊到部署时诊断中。 DAAF 结合稀疏和嘈杂的故障信号来决定是否需要干预,从可执行任务结果评估的受控重放中学习组件类型条件替换效果,并在具有兼容干预响应的请求之间共享监督。在诊断时,DAAF 仅使用观察到的执行、注册的候选者和可用的故障信号;它既不需要反事实重放,也不需要任务奖励,并且在证据不足时返回 no_change、修复目标或未解决的决策。在保留的 tau^2 基准电信任务中,DAAF 实现了 80.72% 的属性 Hit@1,恢复了 62.65% 的失败执行,同时将干净任务回归限制为 3.23%,并达到了 71.93% 的总体任务成功率。这些结果表明,基于干预的属性归因可以将故障定位与可执行系统修复联系起来。