世界不会静止：面向Agent基准的可编程演化

LLM 支持的代理通过与环境交互、查询数据以及在多轮流程中调用工具来满足用户请求。然而，大多数现有基准假设具有固定模式和工具集的静态环境，忽略了现实世界的进化本质和代理对环境变化的鲁棒性。在本文中，我们研究了一个关键问题：如何以可扩展、可控的方式演化智能体环境，从而更好地评估智能体对现实世界动态的适应性。我们提出了 ProEvolve，一个基于图形的框架，可以使环境演化变得可编程。从本质上讲，类型化关系图提供了环境的统一、显式表示：数据、工具和模式。在这种形式下，添加、删除或修改功能被表示为图形转换，这些图形转换在工具、模式和数据访问之间连贯地传播更新。在此基础上，ProEvolve 可以 (1) 将进化动力学编程为图转换以自动生成环境，以及 (2) 通过子图采样和编程来实例化任务沙箱。我们通过将单个环境演变成 200 个环境和 3,000 个任务沙箱来验证 ProEvolve，并相应地对代表性代理进行基准测试。