论文

恢复前诊断:将代理故障转变为选择性自我纠正

Diagnosis Before Recovery: Turning Agent Failures into Selective Self-Correction

智能体系统Agent Harness

摘要

当故障限制下一次修复时,自我纠正特别有用。 编码智能体 受益于此属性,因为编译器、测试和执行跟踪将许多故障转换为类型化恢复信号,但广泛的语言代理任务通常仅暴露粗略的任务故障。这给通用恢复手册带来了压力:当系统需要更窄的修复界面时,它们恰恰拓宽了代理的上下文,混合了针对无效操作、丢失程序和严格格式错误的不兼容信号。我们的见解是,开发集故障可以通过在测试时间校正之前决定哪些恢复干预措施是可接受的来恢复部分缺失的诊断基质。我们提出了 DARC,一种诊断引导的恢复工具,它可以描述任务族失败模式,从共享恢复库中删除不匹配的干预措施,并冻结验证者选择的部署成功成本策略。这种因果顺序使得纠正具有选择性:Harness首先确定可以修复哪种故障,然后决定花费多少恢复证据。在 ALFWorld、AppWorld 和 XBRL Finance 中,相同的协议产生了操作有效性工具、程序恢复回退和格式精度检索策略;在每个评估的设置中,它比基本代理和广泛的剧本提高了平均任务性能,同时减少了环境步骤或检索预算。我们的实验表明,故障不需要统一触发更多上下文:DARC 将自我纠正从即时扩展转变为恢复接口设计。 DARC 为缺乏类似编译器的反馈的领域提供了一条通往更可靠代理的实用途径:在增大上下文之前使故障可操作。