当很少或没有学习者被记录时，系统一LLM可以执行知识追踪吗？

知识追踪（KT）模型需要许多已记录的学习者，因此新课程或平台在没有可用模型的情况下开始。在基于 LLM 的 KT 中，LLM 生成答案，我们称之为系统二；它要么对目标数据进行微调，要么对十个样本进行推理和投票，这很慢并且给出了粗略的概率。我们询问现成的 System-One LLM 是否可以在很少或没有学习者记录的情况下执行 KT，该系统直接在单次传递中返回输入问题的概率。在七个数据集上，没有来自目标平台的任何数据的 Jev 的平均 AUC 为 0.706，高于在 8 个学习者上训练的 28 个深度 KT 模型中最好的模型 (.689)，并且高于在所有七个数据集上训练的 System-Two Thinking-KT (0.650)，其 API 成本约为 1/100。添加示例和来自已记录学习者 (JevKT) 的类似学习者统计数据可将该值提高到 0.722； JevKT 在 16 个学习器上显着领先于深度 KT，平均领先 64 个学习器，而监督 KT 在 64 到 128 个学习器上领先。在我们测试的读者中，收益是 Jev 特有的，因为其他三位LLM也用 通过官方 System-One 适配器的字节相同类型请求在所有七个数据集上都低于它，并且读取器交换和污染检查没有发现任何证据表明输入格式或存储的数据可以解释增益。对于新学习者来说，他们的第一次互动就具有优势，而在所有学习者都记录的未见过的项目上，深度 KT 仍然领先。