VeRO：用于优化代理的评估工具

编码代理的一个重要的新兴应用是代理优化：通过编辑-执行-评估循环迭代改进目标代理。尽管具有相关性，但社区缺乏对编码代理在这项任务上的表现的系统了解。代理优化与传统软件工程有根本的不同：​​目标代理将确定性代码与随机 LLM 完成交错，需要对中间推理和下游执行结果进行结构化捕获。为了应对这些挑战，我们引入了 VERO（版本控制、奖励和观察），它提供了 (1) 具有版本化代理快照、预算控制评估和结构化执行跟踪的可重复评估工具，以及 (2) 目标代理和任务的基准套件以及参考评估程序。使用 VERO，我们进行了一项实证研究，比较跨任务的优化器配置，并分析哪些修改可以可靠地提高目标代理的性能。我们发布 VERO 来支持代理优化研究，作为编码代理的核心功能。