VibeJam：使用代理进行 Web 开发的用户研究平台

使用 AI 进行编程变得越来越代理，用户提示 LLM 直接编辑代码并查看更改，尤其是在 Web 开发任务中，其采用率不断增长。尽管有这种增长，但大多数 NLP 工作都使用离线评估，缺乏对在线研究的支持，从而无法深入了解程序员如何真正使用 编码智能体。我们发布了 VibeJam，一个基于浏览器的用户研究平台，供用户与 AI 代理协作开发网站。 VibeJam 支持代理自定义并默认使用开源 Aider 代理，为了镜像下游使用，我们添加了差异审查、聊天和计划模式以及实时网站预览。在一项针对 55 个已发布的基于游戏的网站创建任务的试点研究中，五名经验丰富的人工智能程序员将我们的系统评价为有趣、简单且类似于商业工具，而 13 名低年级学生使用 VibeJam 制作的网站比相同任务中的代理质量更高。我们开源 VibeJam 来促进扩展并支持有关 编码智能体 如何帮助用户的研究。