论文
SWE-Duel:编程Agent互出任务的动态评测竞技场
SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
摘要
静态编程基准在发布时固定,任务逐渐泄入训练数据,更强Agent最终使其饱和。我们主张基准应自适应扩展:任务及判定器在评测时创建,事先不存在可泄漏内容,难度由参与Agent决定。SWE-Duel让两个编程Agent在对称红蓝回合互评。红方在真实仓库的三个上下文隔离会话中提出并实现带功能测试的新功能,再植入隐蔽缺陷及封存的触发测试。PR仅在通过功能和既有测试、恰好失败于缺陷测试,且同Agent新会话能盲修缺陷时准入,以排除无解任务。蓝方不知道有缺陷而审阅PR,修订通过三组测试才获胜,随后交换角色。11组模型—Harness在五种语言的15个仓库参加1500轮比赛。GPT-5.5配Codex CLI凭最强解题能力居首,修复所审缺陷的98.3%;Claude Opus 4.8配mini-swe-agent凭最强出题能力居次,红方胜率27.3%。同模型家族最新版本所出任务击败固定参考解题器的频率远高于旧版本(42.9%对4.0%),初步支持难度随出题能力增长。
