论文
作为编码代理运行时合同的跨提供商审查:受控试点和故障注入研究
Cross-Provider Review as a Runtime Contract for Coding Agents: A Controlled Pilot and Fault-Injection Study
摘要
编码代理越来越多地共享工作站,同时利用单独的提供商和订阅津贴。第二个代理可以检查完整的答案,但呼叫会花费另一个池,并且可能无法提供实质性发现。我们描述了一个咨询性的跨提供商审查合同:不同的资源池、有限的执行、受限的审查者能力、完整的输入交付、可用的语义输出、明确的故障状态和持久的每次尝试证据。在由Agent编写的受控试点中,有 20 个配对开发轮次,其中 8 个有材料评审员的发现(95% 的精确区间为 19.1-63.9%)。跨两个审阅者后端的边界条件扫描重现了先前发现的部分输入错误成功:四个截断级别历史上通过,但修复后失败。扫描还发现并修复了进程收获期间的取消。在真正的 CLI 探针中,Claude 没有编写工具; Codex 在五次只读试验中的五次尝试写入,每个写入工具都失败,并且没有更改一次性存储库。这些测试涵盖指定的路径和版本,而不是 现场可靠性。在精确运行时回归发现第三个缺陷之前,一项针对仅元数据审阅分配的预注册影子研究积累了 25 个正式观察结果:以格式良好的判决退出非零的审阅者被视为完成。每次尝试都不会记录退出状态,因此无法追溯解决暴露问题。 25 份正式记录和 2 份待定记录仍属于审计组;测量有效队列从零重新开始并开始收集。没有报告门结果。