ToolMisuseBench：代理系统中工具误用和恢复的离线确定性基准

即使语言理解能力很强，使用代理工具的工具也经常因操作原因而失败。常见原因包括无效参数、接口漂移、弱恢复和低效重试行为。我们引入了 ToolMisuseBench，这是一个离线确定性基准，用于在明确的步骤、调用和重试预算下评估工具误用和恢复。该基准测试涵盖具有可重播故障注入的 CRUD、检索、文件和调度环境。它报告成功、无效呼叫行为、策略违规、恢复质量和预算效率。我们发布了包含 6800 个任务和可重复评估流程的公共数据集。基线结果显示模式感知方法的故障特定恢复增益，而总体成功在已发布的授权和硬故障设置下仍然有限。