软件工程工作流程中 LLM 辅助的混合方法实证研究

大语言模型 (LLM) 越来越多地集成到软件开发工作流程中，但它们的影响经常在不区分任务类型、开发人员资历和验证需求的情况下进行讨论。本文提出了对一年级和四年级本科生进行 LLM 辅助软件工程的混合方法实证研究。第一阶段是一项初步调查 (n=157)，描述两组之间的 LLM 暴露、依赖和信任校准。第二阶段是一个基于任务的准实验，从两个队列中抽取有目的的样本（n=20）。在这里，我们在一组结构化的软件工程任务上比较人工智能辅助和非人工智能的条件，这些任务涵盖实施、约束驱动的算法选择和架构推理。然后，我们分析性能结果以及通过屏幕记录和定性编码过程捕获的行为痕迹。调查结果表明 LLM 得到了广泛的采用和大量的验证工作，以及在约束繁重的场景中感知 LLM 能力的群体差异。准实验进一步表明，AI辅助改变了工作流程结构。例如，参与者经常采用人工智能优先的任务输入、复制传输集成和人工智能介导的调试，而非人工智能工作流程更多地依赖文档、先前的模板和迭代试错细化。总体而言，我们的研究结果表明，LLM 援助的好处取决于任务，并由专业知识和验证实践来调节，而不仅仅是由生成速度来调节。