论文

几页 Markdown:采用 Coding-Agent 后承诺的 AI 配置和更低的质量成本

A Few Pages of Markdown: Committed AI Configuration and Lower Quality Cost after Coding-Agent Adoption

模型评测评测方法与指标

摘要

编码智能体 提高了开发速度,但也增加了技术债务。之前的工作仅报告了采用者之间的平均效果,隐藏了团队之间的巨大差异。我们引入 RAMP(存储库 AI 成熟度概况),这是一个四级累积成熟度模型,基于团队承诺配置 AI 工具的版本控制工件。 RAMP 从行为规则和编码标准到命名代理定义再到多代理编排,观察到的实践集中在前三个级别。在 441 个存储库中,级别表现为累积规模,独立的人工注释在 97% 的保留样本上重现 RAMP 的存储库级别标签。采用是累积的、只向前的和一劳永逸的:73.8% 的工件只提交一次并且从未修改。重新估计每个层中现有的代理采用小组,无论成熟度如何,代理都会加速开发(提交量增加 28-38%),但质量存在差异:在代理优先的存储库中,存在对比,那些没有承诺的 AI 配置的存储库的认知复杂性增加了大约两倍(+53% 对 +27%),静态分析警告增加了 1.7 倍。由于成熟度是可观察的,相关的工程学科或模型能力可以解释部分差距;我们将这些发现作为假设生成并将 RAMP 作为可重复使用的工具发布。