论文
反思性对话还是及时改进?导师支架对学生独立使用LLM编程的影响
Reflective Dialogue or Prompt Refinement? Effects of Tutor Scaffolding on Students' Independent LLM Use for Programming
摘要
虽然 大语言模型 (LLM) 可以提供个性化的学习支持,但一些研究对其在教育中的使用提出了担忧。重要的是,学习取决于学生如何参与 LLM。本研究探讨了两种类型的基于 LLM 的导师如何塑造学生的提示实践、学习和随后的 LLM 使用:苏格拉底式指导(SG)导师,通过对话提问构建互动;提示细化(PR)导师,指导有效提示的制定。我们对研究生水平的移动机器人课程进行了两阶段研究:66 名学生在为期 6 周的干预期间使用 SG 或 PR 导师,随后 52 名学生在为期 3 周的课程项目中使用无约束的 LLM。结果表明,虽然 SG 和 PR 导师在指导使用过程中产生了相似的任务表现和提示模式,但他们在学习成果和后来的 LLM 使用方面有所不同。相对于 PR 学生,SG 学生在后面的课程中取得了更高的学习成果,并且更有可能采用理解驱动的提示策略,当使用不受约束的 LLM 时,这些策略可以预测更高的理解。尽管学习者认为 SG 导师效率较低,但研究结果表明,随着时间的推移,苏格拉底式指导支持学生使用 LLM 学习的能力的发展,突显了其对于 LLM 导师设计的重要性。