论文

Edustories:来自课堂实践的真实案例研究集

Edustories: A Collection of Real-world Case Studies from Classroom Practices

模型评测基准与评测资源

摘要

尽管人工智能在教育领域的潜力得到了广泛认可,但之前的大多数工作都集中在个性化的学生帮助上。相比之下,世界范围内的大多数教育实践仍然发生在集体课堂环境中。为了使研究人员能够研究人工智能在集体教学中的辅助作用,我们引入了 Edustories,这是一个包含 1,492 个教师撰写的案例研究的数据集,描述了真实的小学和高中课堂情境,涉及具有挑战性的学生行为、教学干预及其结果。在许多其他应用程序中,Edustories 能够评估大语言模型预测教师干预成功与否的能力,这对于向执业教师提供有用的反馈至关重要。将四个语言模型系列的最新模型与专家评估进行比较,我们发现当前模型在预测课堂结果方面缺乏人类专业知识;最强大的模型的准确度达到 58%,而人类专家的准确度为 64%。这一差距凸显了人工智能作为执业教师助手的局限性和新兴潜力。