开源项目

facebookresearch/REAP-pipeline-for-coding-agent-benchmarks:生产会话自动策展编码Agent基准

facebookresearch/REAP-pipeline-for-coding-agent-benchmarks

模型评测评测方法与指标

概述

REAP是ASE 2026 Industry Showcase论文的复现工件,对应arXiv 2604.01527并存档于FigShare,申报Artifacts Available/Reusable徽章。管线从真实开发者与Agent交互会话出发,无需人工标注构建生产来源的编码Agent基准,三道自动验证为:LLM分类器把提示归入17类任务并滤除不可测项;Agent克隆仓库用bash探索,确认候选测试真执行被改代码;多轮重跑过滤flaky测试。工件含前两阶段分类器的可运行实现。