论文

AI辅导互动中大语言模型的教学行为

LLM Pedagogical Behavior in AI Tutoring Interactions

模型评测评测方法与指标

摘要

学生越来越多地使用大语言模型辅助课程学习和解题,但在真实学习互动中,模型提供多少帮助仍缺少研究。辅导回答在直接帮助学生完成任务的程度上差别很大。研究将这一维度定义为教学支持程度,建立五级量表并与人工标注对照验证,再用于分析一门大学AI课程中203名学生获得的14637条模型回答。回答高度集中于直接支持,超过95%属于“解释”或“解题”。支持程度与学生后续对话行为存在系统性关联,但在既有学习成绩与对话行为之外,对随后三次考试成绩几乎不提供额外预测信息。研究为模型辅导行为提供实证参照和衡量框架,可用于评估不同辅导设计如何改变支持方式。