论文
认知不确定性引导 知识蒸馏 对学生误解进行准确分类
Cognitive-Uncertainty Guided Knowledge Distillation for Accurate Classification of Student Misconceptions
摘要
准确识别学生的误解对于个性化教育至关重要,但面临三个挑战:(1)长尾分布的数据稀缺,难以综合真实的学生推理; (2) 错误类别之间的边界模糊,标注噪声较高; (3) 部署parado-large 模型由于预训练偏差而忽略了非常规方法,并且无法部署在边缘,而小模型则过度拟合噪声。与通过大规模数据合成来增加多样性的传统方法不同,我们提出了一个两阶段的 知识蒸馏 框架,可以从现有数据中挖掘高价值样本。第一阶段执行标准蒸馏来传输任务能力。第二阶段引入基于认知不确定性的双层边际选择机制,根据教师模型不确定性和置信度差异识别四类关键样本。对于不同的数据子集,我们设计了难度自适应机制来平衡硬/软标签的贡献,使学生模型能够继承教师软标签的类间关系,同时区分模糊的错误类型。实验表明,通过仅对 10.30% 的过滤样本进行增强训练,我们在 MAP-Charting 数据集上实现了 0.9585 (+17.8%) 的 MAP@3,并且仅使用 4B 参数模型,我们在中学代数误解基准的跨主题测试中获得了 84.38% 的准确率,显着优于 sota LLM (67.73%) 和标准微调 72B 型号(81.25%)。我们的代码可在 https://github.com/RoschildRui/acl2026_map 获取。