论文
REFINE:交互式反馈与学生行为的真实场景探索
REFINE: Real-world Exploration of Interactive Feedback and Student Behaviour
摘要
形成性反馈是有效学习的核心,但大规模提供及时、个性化的反馈始终是一项持久挑战。尽管近期工作已探索利用大语言模型(LLM)自动化反馈,但多数现有系统仍将反馈视为静态的单向产物,对解释、澄清或后续追问的支持有限。在本工作中,我们提出 REFINE,一个可本地部署、构建于小型开源 LLM 之上的多智能体反馈系统,它将反馈视为一个交互过程。REFINE 将三部分结合:一个扎根教学法的反馈生成智能体、一个由与人类对齐的评审器引导的 LLM-as-a-judge 再生成循环,以及一个支持学生追问、能给出情境感知且可操作回应的自反思工具调用交互智能体。我们通过受控实验以及在一门本科计算机课程中的真实课堂部署来评估 REFINE。自动评估显示,评审引导的再生成显著提升了反馈质量,且交互智能体产生的回应高效、高质量,可与最先进的闭源模型媲美。对真实学生互动的进一步分析揭示了独特的参与模式,并表明系统生成的反馈会系统性地引导学生的后续提问。我们的发现证明了多智能体、工具增强的反馈系统在实现可扩展的交互式反馈方面的可行性与有效性。
