论文
代码整洁度是否会影响 编码智能体?受控最小配对研究
Does Code Cleanliness Affect Coding Agents? A Controlled Minimal-Pair Study
摘要
随着自主 编码智能体 的快速采用,他们的评估主要集中在目标代码库固定的情况下的任务完成率。这就留下了一个没有答案的关键问题:底层代码的结构和风格质量或“清洁度”是否会影响代理导航和修改它的能力?为了将代码清洁度与代理能力的影响隔离开来,我们引入了一种围绕最小对构建的评估协议:在架构、依赖关系和外部行为上匹配的存储库,但在静态分析规则违规和认知复杂性方面有所不同。这些对是通过代理管道在两个方向上构建的,这些管道要么降低干净的存储库的质量,要么清理混乱的存储库。我们在 6 个这样的对中编写了 33 个任务,并通过应用程序公共表面上的隐藏测试进行评估。在 Claude Code 的 660 次试验中,代码清洁度并没有改变代理的通过率。然而,它极大地改变了代理的操作足迹:使用更简洁的代码的代理减少了 7% 到 8% 的词元,并将文件重新访问减少了 34%。我们的研究结果表明,传统的可维护性原则在人工智能驱动的开发时代仍然高度相关,决定了 编码智能体 的计算成本和导航效率。代码整洁度与模型选择、利用和提示一起成为对代理行为产生重大影响的因素。