ConceptKT：知识追踪中概念级缺陷预测的基准

知识追踪（KT）是对学生知识进行建模以支持个性化学习的关键技术。然而，大多数 KT 系统专注于二进制正确性预测，无法诊断导致错误的潜在概念误解。这种细粒度的诊断反馈对于设计有针对性的指导和有效的补救措施至关重要。在这项工作中，我们介绍了概念级缺陷预测的任务，该任务通过识别学生在未来问题上可能遇到的具体概念来扩展传统的知识转移。我们提出了 ConceptKT，这是一个带有标签注释的数据集，它捕获了解决每个问题所需的概念以及错误答案背后缺失的概念。我们研究了 KT 的上下文学习方法，并评估了各种 大语言模型 (LLM) 和大型推理模型 (LRM) 的诊断能力。探索了选择信息丰富的历史记录的不同策略。实验结果表明，基于概念对齐和语义相似性选择响应历史可以提高正确性预测和概念级缺陷识别的性能。