论文

代理生成的代码在多大程度上需要维护?实证研究

To What Extent Does Agent-generated Code Require Maintenance? An Empirical Study

模型评测模型能力评测

摘要

基于LLM的自主编码智能体重塑了软件开发。虽然这些代理擅长代码生成,但关于人工智能生成代码的长期可维护性仍然存在悬而未决的问题。本研究实证研究了人工智能生成的文件与人类编写的代码的维护程度、人类参与和修改类型。使用 AI 生成的拉取请求和 GitHub 的 AIDev 数据集,我们分析了 100 个流行存储库中的 1,000 多个文件和大约 3,200 个更改。我们的研究结果表明:(i) 人工智能生成的文件的维护频率低于人类编写的代码,更新仅影响文件大小的一小部分; (ii) 对人工智能代码最频繁的修改是功能扩展,而人工更新则侧重于错误修复,以及 (iii) 人类开发人员执行了大部分维护工作。