论文
研究野外自主代理的贡献:活动模式和代码随时间的变化
Investigating Autonomous Agent Contributions in the Wild: Activity Patterns and Code Change over Time
摘要
大语言模型 代码的兴起重塑了软件开发。自主 编码智能体,能够创建分支、打开拉取请求并执行代码审查,现在积极为现实世界的项目做出贡献。他们不断增长的角色提供了一个独特且及时的机会来调查人工智能驱动的贡献及其对代码质量、团队动态和软件可维护性的影响。在这项工作中,我们构建了一个包含约 110,000个开源拉取请求的新颖数据集,包括相关的提交、评论、评论、问题和文件更改,总共代表了数百万行源代码。我们比较了五个流行的 编码智能体,包括 OpenAI Codex、Claude Code、GitHub Copilot、Google Jules 和 Devin,检查它们在各种开发方面的使用差异,例如合并频率、编辑的文件类型和开发人员交互信号(包括评论和评论)。此外,我们强调代码创作和审查只是更大的软件工程过程的一小部分,因为生成的代码也必须随着时间的推移进行维护和更新。因此,我们提供了代理生成的代码与人类编写的代码的生存率和流失率的几个纵向估计。最终,我们的研究结果表明,开源项目中的代理活动不断增加,尽管与人类编写的代码相比,随着时间的推移,他们的贡献会带来更多的流失。