论文
Agent-Diff:通过基于状态差异评估的代码执行对企业 API 任务上的 LLM 代理进行基准测试
Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation
摘要
我们提出了 Agent-Diff,这是一种新颖的基准测试框架,用于通过代码执行来评估真实生产力软件 API 任务上的代理 大语言模型 (LLM)。 Agentic LLM 性能因模型、外部工具访问、提示结构和 Agentic 框架的差异而有所不同。基准必须在控制软件环境变化的沙盒方法和采用实际服务的更生态有效的方法之间进行基本权衡。 Agent-Diff 尝试通过包括对软件服务的真实 API 接口的访问,同时对进行调用、处理和评估的环境进行沙箱处理,来捕获这两种方法的所需功能。这种方法依赖于两项关键创新。第一个是一种新颖的状态差异契约,它将过程与结果分开——而不是模糊跟踪或参数匹配,我们将任务成功定义为是否实现了环境状态的预期变化。第二个是基于企业 API 的容器化副本构建的新型沙箱,允许所有模型通过代码执行与相同的服务接口进行交互。这使得能够针对一组常见的状态差异合约进行受控评估,同时保留现实世界 API 交互的结构。使用 Agent-Diff 框架,我们利用企业软件工作流程为 224 项任务中的 9 个 LLM 提供基准。此外,我们还通过消融实验来评估框架的稳健性,以评估访问 API 文档对基准性能的贡献。代码和数据:https://github.com/agent-diff-bench/agent-diff。