论文

信用预算制ICPC式编程:当智能体必须为每个决策付费

Credit-Budgeted ICPC-Style Coding: When Agents Must Pay for Every Decision

智能体系统Agent任务评测

摘要

当前对自主编码智能体的评测假定了一个不现实的无限资源环境。然而,现实世界的软件工程是一场受资源约束的竞赛。随着我们向大规模智能体集群扩展,忽视计算与时间成本会带来预算灾难性耗尽的风险。为了将关注点从孤立的准确率转向成本感知的问题求解,我们提出USACOArena,一个由严格「信用」经济驱动的交互式ACM-ICPC风格竞技场。每个生成的词元、每次本地测试和流逝的每一秒都会消耗固定预算,迫使智能体进行策略性权衡。我们的全面剖析显示,前沿单智能体与智能体集群目前都无法在准确率与这些约束之间取得最优平衡,表现出分化的、路径依赖的行为。最终,USACOArena为开发高效、资源感知的智能体架构提供了一个重要的动态训练场。

信用预算制ICPC式编程:当智能体必须为每个决策付费:论文配图
图 1:从时间真空到成本意识自治。如果没有经济反馈,传统群体会浪费时间和计算,不可避免地会陷入现实世界的预算限制(上)。 USACOArena 通过将绝对时间、token和测试开销转换为统一信用反馈信号(左下漏斗)来解决这个问题。通过迫使集群为每个决策“付费”,它可以促进高效、具有成本意识的协调,以实现成功部署(右下)。