与 AI 编码智能体 的规范优先融合:在 717k 行代码库中的 189 个文件中拆除核心架构不变量的案例研究,无需测试预言机和人工代码审查
Specification-first convergence with an AI coding agent: a case study of dismantling a core architectural invariant across 189 files in a 717k-line codebase with no test oracle and no human code review
摘要
本文报告了一个由 AI 编码智能体 在规范优先协议下进行的大规模架构重构的单一、完全仪器化的案例研究,没有对生成的代码进行人工审查,也没有预先存在的预言机来验证目标行为。作者评估这项任务,即在大型相互依赖的代码库中拆除一个中心不变量,通过增量重构实际上是不可行的,这种改变通常需要重写。根据此处描述的协议,代理成功完成了它。该系统是一个包含 3,648 个文件的 717,725 行生产 TypeScript 应用程序。该任务需要拆除核心生命周期不变量:保证 UI 面板在 AI 请求期间保持打开状态。目标行为是流媒体生成在面板关闭后仍然存在,并且可以在重新打开时重新连接到同一个直播流,而不会丢失或重复。协议:由代理制定正式规范,根据源代码审核该规范的 14 个细化周期,原子实现,编译/测试反馈循环,然后根据冻结规范审核代码的 17 个验证周期。在 31 次审核中,在任何人执行该程序之前,纠正了 201 个缺陷。收敛标准是经验性的:连续两次验证返回零结果。此次变更涉及 189 个文件(31 个新文件);在提取阶段,两人总共提交了 288 个文件、34,770 个插入、16,422 个删除。在第一个和大约三十个后续会话中,软件的行为符合指定,没有观察到错误。已过去:三天;费用:2,430 美元。完整的规范和原始会话日志(1,500 多页法语)作为证据发布,允许检查流程并提交给语言模型进行一致性检查。