论文

OmniEdu:学习和教学的开放基础模型

OmniEdu: Open Foundation Models for Learning and Teaching

模型训练监督微调与指令调优

摘要

教育基础模型必须解决问题、了解课程结构、诊断学习者的困难并提供适当的教学支持。现有的教育语言模型通常侧重于问题解决或辅导,训练混合物按来源或任务而不是能力进行组织。我们推出 OmniEdu,这是一个用于 K-12 学习和教学的开放基础模型系列。其教学调整语料库结合了 100 多种教育资源和一般教学资源,围绕四种能力进行组织:学科能力、课程基础、诊断推理以及教学行动和脚手架。我们的流程集成了确定性清理、语义审核和重写、特定于任务的质量评分、词元预算多样性选择和教学指导分配。它产生 69,999 个示例和 1596 万个监督响应词元,其中包括 60,951 个教育特定示例。我们微调 4B、9B 和 27B 模型,并评估课程基础、K-12 问题解决、教学辅导以及一般能力。以教育为导向的调优持续改善了模型尺度上的所有三个教育基准组。 OmniEdu-27B 在 K12-Bench 上实现了 63.12% EM 和 76.69% F1,在 MathFish 上实现了 85.89%,在 EDUMATH 上实现了 86.95%,在 MathTutorBench 的 Scaffold 设置中实现了 78.74%。在 LongTutor 的评估模型中,它的教学平均分也最高,为 3.02。这些结果证明了有组织的、能力平衡的监督对于使通用语言模型适应涵盖问题解决、课程理解和教学支持的教育任务的价值。