论文

AfterVibe:对话结束后剩下什么

AfterVibe: What Remains When the Conversation Ends

摘要

我们推出 AfterVibe,一个从 Vibe 编码会话中恢复自然语言规范的框架。给定代码工件和生成它的对话轨迹,AfterVibe 使用 LLM 提取捕获开发人员意图的抽象自然语言规范,并通过重新生成测试对其进行验证:第二个盲 AI 代理仅根据规范重新实现工件,并通过多层验证管道对原始代码进行分级。因此,规范质量是通过代理是否可以重新生成传递代码来衡量的;如果验证者认为实现等效,则该规范被认为是强大的,否则它会被迭代地完善。通过对来自公司内部编码会议的 72 个真实世界的氛围编码项目进行 AfterVibe 评估,我们发现其恢复的规范是通过设计捕获行为意图而抽象的,但没有规定实施,但仍然很强大。多次独立的再生获得了 5.06 的高平均再生分数(满分 6.0),同时在细节上保持多样性,证实了规范限制了内容,但没有过度规定如何进行。除了超越现有的人类编写的描述之外,该规范还可以迭代地进一步增强至 5.74 分。一个实际的含义是,当人工智能生成的代码超过了常规代码审查时,规范(而不是代码)可能成为人工审查的主要工件和记录来源。