Zero2Repo：编码Agent可以从头开始构建存储库吗？

编码Agent越来越多地被要求构建软件而不是修补软件，但从头开始构建存储库的基准大多仅限于单一语言，并且依赖于手动策划的任务。我们引入了 Zero2Repo，这是一个基准，其中Agent接收产品需求文档、接口合同和空工作区，并且必须在项目的本机生态系统中提供完整的存储库。任务由与语言无关的创作管道生成，该管道将真实的、版本固定的开源项目转换为行为规范、可重现的环境和隐藏的验收测试。每个任务都通过执行进行验证：从上游项目派生的参考实现必须通过，并且对抗性验证必须表明测试拒绝不正确的实现。评估在隔离的容器中运行生产编码Agent，在明确提交之前保留验收测试，并仅在每个测试通过时分配二进制奖励，没有 LLM 评审。管道和工具没有做出特定于语言的假设，并且适用于主流编程生态系统；当前版本包含 Python、TypeScript、Go 和 C++ 任务。即使是从前沿模型在训练过程中很可能见过的存储库中提取的 11 项任务，最强的Agent也只能解决 10 项，并且每个失败的提交都通过了 90-99% 的隐藏测试；对于两个最强的Agent，67-100% 的失败测试归因于规范中规定的单个遗漏或低频规则，而不是缺失的子系统，因此每次失败都是改进的具体目标。