论文
LongRCA Bench:诊断长程Agent失败中的责任角色与根因
LongRCA Bench: Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures
摘要
当长程Agent执行失败时,只看结果的评测能指出任务未成功,却无法说明决定性错误在轨迹的哪个位置出现。开发者必须检查完整执行过程,识别责任角色,并定位最早的决定性根因步骤。现有失败归因基准主要关注较短轨迹,对跨越数百个记录步骤的诊断研究不足。我们提出LongRCA Bench,包含五个领域的1,140条失败轨迹,未人为注入错误;基准提供独立评分的人工标签,标注责任角色和最早的决定性根因步骤。轨迹长度中位数为145步,最强基线的精确根因步准确率仅为13.2%。我们进一步提出Root-Cause Trajectory Attribution(RCTA),一种免训练方法:从分段摘要检索候选错误步骤,并将其追溯到可获得的更早交接指令。在相同骨干模型、基准实例和评分协议下,RCTA的责任角色准确率达到51.1%,精确根因步准确率达到24.1%。这些结果说明,在长轨迹失败诊断中,应分别评估责任角色归因和精确根因步定位。
