AgenTag：行为指纹中 AI 编码智能体 的归属

AI 编码智能体 越来越多地作者拉取请求 (PR)，通常在开发人员自己的帐户下，从而掩盖了实际产生更改的人。可靠的归因对于存储库治理、人工智能辅助软件开发的实证研究以及衡量人工智能 编码智能体 的影响非常重要。现有的工作重点是已知智能体的封闭集识别，而开放世界 AI 编码智能体 归因的实际限制在很大程度上尚未被探索。在本文中，我们提出了 AgenTag，这是一个开放世界 AI 编码智能体 归因的多模式框架，在 AIDev 上进行了评估，包括来自 5 个 AI 编码智能体 的 33,580 个 PR 和 6,618 个人类创作的 PR。我们使用文本、行为和基于代码的方式来表示每个 PR，并将传统分类与开放集识别和以前未见过的代理的少量注册的监督对比学习进行比较。 AgenTag 以 0.96 的加权 F1（宏观 F1 为 0.84）识别创作代理，以 0.89 的平衡 F1 区分人工智能和人类创作的 PR，并以 AUC 0.84 检测以前未见过的代理。我们进一步表明，PR 描述和提交消息提供了几乎所有的归因信号，而代码差异在多种表示中几乎没有贡献，这表明 编码智能体 主要通过它们如何传达更改而不是它们生成的代码来区分。此外，在删除明确的自我披露标记后，这些行为指纹仍然存在，这表明归因在很大程度上依赖于潜在的风格特征。这些发现表明，AI 编码智能体 的可靠归因是可行的，并阐明了归因准确性与实现归因准确性和所需信息之间的实际权衡。