论文

结果监控器:为静默工具失败提供恢复可供性

Outcome Monitors: Recovery Affordances for Silent Tool Failures

智能体系统Agent 环境交互

摘要

当工具调用超时时,Agent能看到失败并绕开它。但缓存错误页面或负价格可能以预期格式到达,并被当作事实消费。我们提出结果监控器(Outcome Monitors),它检测对结果契约的违反,这些契约从任务不相交的轨迹中挖掘或从公共模式推导。在检测到违反时,监控器保留结果并出具一份非约束性的回执,指明被违反的属性和公开的恢复工具。在注入失败的冻结、预指定评估中,结果监控器将两个提供商家族四个模型的ToolMaze完成率从10.9%提升到28.1%,并在第三个家族中复现。在tau-bench零售环境中,两个层级的完成率分别提升14.0和12.0个百分点。在单独的ToolMaze对照实验中,移除恢复工具列表会消除测得的增益,恢复它则重新带来效果;诊断细节与时机不产生可检测的差异。增益集中在故障阻碍完成的情形上。在一套从公开事件分类转录而来的任务上,超出已挖掘词表的检测率降至46%,不过交付仍然继续且完成率不变。在这些对照中,恢复工具是回执中的有效成分;将检测扩展到契约词表之外仍是开放问题。