自主 LLM 生成的软件工程入门课程学生练习反馈

软件工程入门 (SE) 课程面临着快速增长的学生入学人数、具有不同背景的参与者以及生成式人工智能 (GenAI) 解决方案的影响。高师生比通常会导致提供及时、高质量和个性化的反馈，这对教育工作者来说是一项重大挑战。为了应对这些挑战，我们推出了 NAILA，这是一种为学生练习提供 24/7 自主反馈的工具。 NAILA 利用现代 LLM 形式的 GenAI 处理以开放文档格式提供的学生解决方案，并通过专门的提示模板根据教师定义的模型解决方案对其进行评估。我们对杜伊斯堡-埃森大学 900 多名在校学生进行了一项实证研究，评估四个主要研究问题，调查 (1) 促使学生采用或拒绝 NAILA 的潜在动机；(2) 通过衡量感知有用性和易用性以及主观学习进度来衡量用户接受度；(3) 学生参与 NAILA 的频率和一致性；(4) 与人类反馈相比，使用 NAILA 接收 AI 反馈如何影响学业成绩。