论文

LongRCA Bench:诊断长程Agent失败中的责任角色与根因

LongRCA Bench: Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures

智能体系统Agent任务评测长程任务评测

摘要

当长程Agent执行失败时,只看结果的评测能指出任务未成功,却无法说明决定性错误在轨迹的哪个位置出现。开发者必须检查完整执行过程,识别责任角色,并定位最早的决定性根因步骤。现有失败归因基准主要关注较短轨迹,对跨越数百个记录步骤的诊断研究不足。我们提出LongRCA Bench,包含五个领域的1,140条失败轨迹,未人为注入错误;基准提供独立评分的人工标签,标注责任角色和最早的决定性根因步骤。轨迹长度中位数为145步,最强基线的精确根因步准确率仅为13.2%。我们进一步提出Root-Cause Trajectory Attribution(RCTA),一种免训练方法:从分段摘要检索候选错误步骤,并将其追溯到可获得的更早交接指令。在相同骨干模型、基准实例和评分协议下,RCTA的责任角色准确率达到51.1%,精确根因步准确率达到24.1%。这些结果说明,在长轨迹失败诊断中,应分别评估责任角色归因和精确根因步定位。

LongRCA Bench:长程智能体轨迹中的根因定位:论文配图
图4:RCTA 将长轨迹划分为连续片段,并利用片段摘要召回候选错误步骤。随后,它将原始候选文本与相关的更早交接上下文进行比较,再独立预测责任角色和最早的决定性根因步骤。