论文

Vibe Coding 吃掉了我的作业:对新软件工程和编程的 AI 方法的评估

Vibe Coding Ate My Homework: An evaluation of AI approaches to greenfield software engineering and programming

模型评测模型能力评测

摘要

由于生成式人工智能的快速发展,我们正处于范式转变之中,这可能会永远改变我们与计算机交互的方式。我们观察到,在没有该领域基础知识的情况下,越来越多地使用自然语言提示来构建应用程序和编码基础设施,这种做法被称为“vibe 编码”。它可以说代表了编程领域从一开始就一直在构建的目标,以及所设想的每一个更高层次的抽象。就输入方法而言,Vibe 编码有望成为高级编程元的终点:完全消除人类对代码语法的使用,有利于用母语进行编程。本文旨在评估 Vibe 编码对于新软件工程任务的可行性,并分析用于衡量其软件工程能力的基准。为此,我们开发了一个评估套件,用于分析 LLM 在 Python 中执行简单、孤立的绿地编程任务的熟练程度,以提供对此事的范围洞察。