论文

RECAP:记录、回放与分析 AI 辅助编程交互的平台

RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions

摘要

了解开发人员如何与 AI 编码助手交互需要的不仅仅是孤立的聊天日志或 git 历史记录;它需要重建完整的上下文:哪个提示导致了哪个编辑,开发人员尝试和放弃了什么,以及他们的策略如何随着时间的推移而演变。我们推出了 RECAP(重放和检查捕获的 AI 编程),这是一个开源平台,它 (1) 在 VS Code 内被动记录 AI 聊天会话和细粒度代码编辑,而不会中断开发人员的工作流程,(2) 将它们合并到统一的时间线中以进行交互式会话重放,(3) 公开可扩展的分析层,其中包含用于行为分类和 AI 依赖测量的示例模块。 RECAP 部署在大学软件工程课程中,在为期数周的项目中捕获了 41 名学生的 2,034 条提示和 8,239 条代码编辑。我们演示了该平台的链接数据和重放功能如何能够分析任何单一数据源都无法支持的开发人员与 AI 交互模式。