论文
通过聊天编程:对 11,579 个真实世界 AI 辅助 IDE 会话的大规模行为分析
Programming by Chat: A Large-Scale Behavioral Analysis of 11,579 Real-World AI-Assisted IDE Sessions
摘要
IDE 集成的人工智能编码助手可以在开发人员的工作代码库中进行对话式操作,可以访问项目上下文和多文件编辑,正在迅速重塑软件开发。然而,对这种转变的实证研究仍然有限:现有的研究很大程度上依赖于小规模的受控设置或分析通用聊天机器人,而不是代码库感知的 IDE 工作流程。据我们所知,我们首次对 IDE 本机设置中的真实对话编程进行了大规模研究,使用 Cursor 和 GitHub Copilot 分析了 1,300 个存储库和 899 名开发人员的 11,579 个聊天会话中的 74,998 条开发人员消息。作为日常开发的一部分,这些聊天记录被提交到公共存储库,捕获野外行为。我们的研究结果揭示了编程工作组织方式的三个转变:对话式编程作为渐进式规范运行,开发人员迭代地完善输出,而不是预先指定完整的任务;开发人员将认知工作重新分配给人工智能,委托诊断、理解和验证,而不是直接参与代码和输出;开发人员积极管理协作,将计划外部化为持久工件,并通过上下文注入和行为约束来协商人工智能自主权。这些结果为人工智能辅助开发提供了基础的实证见解,并为未来编程环境的设计提供了启示。