论文

AI 编程智能体如何沟通:拉取请求描述特征与人类评审回应研究

How AI Coding Agents Communicate: A Study of Pull Request Description Characteristics and Human Review Responses

模型评测模型行为与机制分析

摘要

大语言模型的快速采用催生了在 GitHub 上自主创建拉取请求的 AI 编程智能体。然而,这些智能体在拉取请求描述特征上有何差异、人类评审如何回应,仍缺乏研究。本研究利用 AIDev 数据集对五个 AI 编程智能体创建的拉取请求进行实证分析。我们分析各智能体拉取请求描述特征(含结构特征)的差异,并从评审活动、回应时间、情感和合并结果方面考察人类评审的回应。我们发现 AI 编程智能体呈现独特的 PR 描述风格,这些风格与评审参与度、响应时间和合并结果的差异相关。我们观察到不同智能体在评审互动指标和合并率上都存在显著差异。这些发现凸显了拉取请求呈现方式和评审互动动态在人机协作软件开发中的作用。

AI 编程智能体如何沟通:拉取请求描述特征与人类评审回应研究
图1:各AI编程智能体之间的差异