论文
表征生产中 AI 生成的 C++ 的质量概况
Characterizing the Quality Profile of AI-Generated C++ in Production
摘要
人工智能编码助手的广泛集成无疑提高了工程速度。然而,最近的研究指出了一种日益增长的权衡,揭示了代码质量和可维护性方面持续存在的挑战。包括前沿人工智能实验室在内的行业领导者也表达了这些担忧。随着 大语言模型 越来越依赖于编写生产代码,了解它们对交付软件质量的影响已成为一个关键优先事项。然而,由于可观察性障碍,评估工业工作流程中的这些影响仍然很困难。我们研究了人工智能生成的代码对一家每天运营数十亿用户所依赖的全球产品的大型企业内生产质量的影响。在这种规模和用户信任的推动下,该组织重视代码质量,并为部署到生产中的每一行代码建立了彻底的可观察性,使我们能够克服测量障碍来评估这些影响。这项研究对 2025 年 4 月至 2026 年 4 月人工智能生成的 C++ 代码进行了大规模实证分析,跟踪了该企业棕地代码库中的 352 万次代码更改。核心目的是了解人工智能生成的代码与大规模生产环境中人类编写的代码相比的质量、性能和维护特征。我们发现 AI 生成的 C++ 代码具有独特的质量特征,显示出更高的接口率和耦合负担、复制和分配开销,以及对优化标准 API 上显式循环的依赖。这些问题转化为有形的下游成本,包括审查工作量增加以及计算资源消耗增加 5-8%。然而,我们证明,为模型提供有针对性的、基于分类的反馈可以减轻这些影响,从而使有针对性的静态分析警告减少 11.1%,并提高计算效率。