GitHub Actions CI/CD 工作流程中 AI 机器人足迹的可靠性

持续集成和部署 (CI/CD) 工作流程是现代软件交付的核心，但在这些工作流程中运行的代理人工智能机器人的可靠性仍未得到充分探索。使用 AIDev 数据集中的合并请求 (PR)、提交和存储库，我们通过 GitHub Actions API 检索了相关的 CI/CD 工作流程运行，并分析了来自 2,355 个存储库的 61,837 次运行，所有运行均由五个 AI 机器人生成的 PR 触发：Claude、Devin、Cursor、Copilot 和 Codex。我们观察到工作流程可靠性存在显着的依赖于代理的差异，Copilot 和 Codex 的成功率最高，分别约为 93% 和 94%。在存储库级别，我们发现 AI 代理贡献频率与工作流程成功率之间呈负相关，这表明代理 PR 的较高频率可能会阻碍 CI/CD 工作流程的可靠性。我们针对 3,067 个相关工作流程失败的代理 PR 定义了 13 个类别的分类法，并观察了趋势分析，该分析表明随着时间的推移，视觉上可观察到的从功能性 PR 类别到非功能性 PR 类别的转变，尽管这些趋势在统计上并不显着。我们的发现激发了对将 AI 代理集成到 CI/CD 工作流程中以及在最有可能发生故障的工作流程中优先考虑保障措施的可操作指导的需求。