AgentRx：从执行轨迹诊断 AI Agent 失败

人工智能代理通常会以难以定位的方式失败，因为执行是概率性的、长期的、多代理的，并且是由嘈杂的工具输出调节的。我们通过手动注释失败的代理运行来解决这一差距，并发布了涵盖结构化 API 工作流程、事件管理和开放式 Web/文件任务的 115 个失败轨迹的新颖基准。每个轨迹都注释有一个关键故障步骤和一个来自扎根理论衍生的跨域故障分类的类别。为了减轻故障归因的人力成本，我们提出了 AGENTRX，这是一种与领域无关的自动化诊断框架，可以精确定位故障代理轨迹中的关键故障步骤。它综合约束，逐步评估它们，并生成约束违规的可审计验证日志以及相关证据；基于大语言模型的法官使用此日志来定位关键步骤和类别。我们的框架在三个领域的现有基线上改进了步骤定位和故障归因。