ParaRecover：评测并行工具智能体的错误定位与恢复过程

现有的代理基准测试主要评估最终任务的成功或工具调用的正确性，对于代理是否能够可靠地诊断中间执行故障并从中恢复提供的见解有限。这种限制在多轮并行工具使用场景中变得尤其重要，其中错误可能会跨依赖分支传播并触发级联故障。我们引入了 ParaRecover，这是一个流程级基准，用于评估多轮并行工具使用代理中的错误定位和恢复。该基准测试建立在 14 种错误类型的细粒度分类之上，涵盖规划依赖性、工具选择和参数匹配，包含跨越两个难度级别的 10,626 个实例。为了实现细粒度、面向过程的评估，我们进一步提出了 SDE 评估标准，用于衡量智能体执行过程中的结构完整性、诊断推理和进化策略。十多个主流大语言模型的实验表明，即使是最先进的模型仍然面临多轮错误传播、隐式工具使用失败和精确重新规划的问题。此外，我们证明 SDE 标题为提高代理的反射恢复能力提供了有效的监督信号。我们的数据和代码可在 https://github.com/gbw206/ParaRecover 获取。