论文
Sentry:智能体失败恢复的测试时学习
Sentry: Learning to Recover from LLM Agent Failures at Test Time
摘要
LLMAgentic 智能体常因无效工具调用、重复动作或落地不佳的推理在任务中失败,从失败中学习是通向可靠性的路径。我们发现失败知识如何抵达智能体与它包含什么同等重要:失败教训是条件性的——放在智能体上下文中,当对应失败不存在时会误触发;从一个演化的剧本中移除它们反而提升性能。运行时干预则只在失败发生时行动,但不从修复中学习。我们主张失败知识是条件性知识、应被条件化暴露,并把该原则实例化为Sentry——与智能体并行运行的失败管理层:检测到失败时从外部剧本检索匹配教训指导恢复,在无任务奖励访问下核验智能体是否恢复,且仅在恢复时存入新教训;完整剧本从不进入智能体上下文。跨多个智能体基准,Sentry在每个基准上都超最强运行时干预基线平均37%,在两项可比较基准上超最强上下文进化基线39%;Sentry与上下文进化结合带来进一步增益。所学教训可迁移到留出任务;受控实验显示把完整剧本暴露给智能体会降低性能——即使相关教训仍可按需获取。(原文术语:Agentic,按术语规则原词保留。)