论文

CUBE:统一智能体基准的标准

CUBE: A Standard for Unifying Agent Benchmarks

智能体系统智能体互操作协议MCP

摘要

智能体基准的激增造成了严重的碎片化,威胁研究生产力。每个新基准都需要大量定制集成,形成限制全面评估的“集成税”。我们提出CUBE(Common Unified Benchmark Environments),一个基于MCP和Gym构建的通用协议标准,允许基准“一次封装,处处使用”。通过将任务、基准、包与注册表等关注点分离为不同的API层,CUBE使任何符合标准的平台都能无需定制集成即可访问任何符合标准的基准,用于评估、RL训练或数据生成。在2026年基准产出加速、平台专属实现加深碎片化之前,我们呼吁社区参与该标准的开发。

CUBE:统一智能体基准的标准:论文配图
图 1:CUBE API 的任务级图。左:任务和工具之间的分离以及重新配置工具的可能性。仅公开 Gym-API。右图:通过实现基类,CUBE 的实现可以自动公开 RPC 层,包括众所周知的 MCP API。在客户端,Gym-API 是公开的。