论文

GitHub 上的 AI 代理拉取请求:频率、结构和合并冲突率

AI Agent Pull Requests on GitHub: Frequency, Structure, and Merge Conflict Rates

模型评测模型行为与机制分析

摘要

AI 编码智能体 可以同时生成拉取请求(PR)并将其提交到同一存储库。然而,关于 AI 编码智能体 并发提交到公共存储库的程度的研究尚不存在。本文使用 AIDev-pop 数据集(2,807 个存储库中的 33,596 个 PR)首次对使用代理撰写的 PR 进行并发提交的普遍性进行实证检验。我们报告说,当考虑精确的时间重叠时,40.2% 的存储库包含共同活跃代理创作的 PR 对;此外,共同活跃对占 AI 代理生成的所有 PR 的 79.4%。当我们检查一周协作窗口内的共同活动时,百分比分别增加到 53.4% 和 95.0%。对于大多数共同活跃的 PR 对(其中绝大多数是代理内部编写的),两个 PR 都是由同一代理编写的,而只有 0.5% 的共同活跃对是跨代理的,并且仅出现在所检查的 2807 个存储库中的 122 个中(约占 4.3%)。此外,我们在 747 个独特的协同对(每个存储库一个)上重放了实际的三路 git 合并,并计算了合并操作期间遇到的文本冲突的百分比,以合并每对中的两个 PR。我们观察到,与代理内对相比,跨代理对遇到文本冲突的百分比明显更高:分别为 41.7% 和 19.8%,且 95% 置信区间不重叠。最后,我们根据git报告的冲突检测开发了一个分类系统,确定大部分冲突是由于源代码文件的修改(84.4%的冲突文件)而不是依赖清单文件引起的;此外,我们观察到的近 42% 的冲突是结构性的(即修改/删除或添加/添加)。