论文

人工智能代理实际上改变了什么?性能改进拉取请求中突变模式的实证分类法

What Do AI Agents Actually Change? An Empirical Taxonomy of Mutation Patterns in Performance-Improving Pull Requests

模型评测模型行为与机制分析

摘要

AI 编码智能体 是黑匣子:我们无法检查它们如何生成代码,但我们可以检查它们更改了什么。这种区别对于基于搜索的软件工程(SBSE)很重要,其中遗传改进等技术(在我们研究的性能优化应用程序中)依赖于反映代码实际转换方式的突变运算符。 AIDev-pop 目标绩效中的 33,596 个代理 PR 中只有不到 1%,这使得每个案例都成为了解其他不透明代理行为的罕见窗口。我们根据 Even-Mendoza 等人的 18 类句法突变分类法,对 216 个 PR 中的 1,254 个与性能相关的差异块进行了分类,跨越五个代理系统。 (2025) 使用双 LLM 交叉管道。三个类别占主导地位:名称修改(37.0%)、对象创建(26.4%)和类型更改(22.7%),这一特征与以前的 GI 语料库明显不同,其中没有更改占 84%。每个代理部署的系统都致力于独特的突变词汇,并且每个性能策略都会激活一个很大程度上不相交的类别子集。因此,代理身份和目标策略是缩小有效 SBSE 操作空间的信息先验。复制包:https://github.com/5uper6rain/ssbse-challenge-2026