论文
利用 Wiki 式 LLM 索引提升机器学习课程学习效果的潜力
Potential for Enhanced Learning in Machine Learning Classes by Using Wiki LLM Indexing
摘要
大语言模型越来越多地被部署为课程专属辅导工具,但其有用性取决于对经过审核、且常在学期中被修订的教学材料的锚定。我们此前的工作在一个真实的机器学习课程语料(Foundations of Machine Learning)上构建了多模态检索增强生成(RAG)系统,发现检索改善了情境锚定,但固定的检索策略并非最优。这引出一个不同的问题:语料在摄取时的结构方式是否比查询时检索多少更重要。我们在相同课程语料上对两种知识表示进行受控的正面对比:(A) 向量 RAG,复现此前研究中表现最好的配置;(B) LLM 编译的 wiki(Karpathy 框架),在摄取时把语料合成为带有显式交叉引用与回链原始材料引文的概念页面。我们用 59 个问题进行评估,覆盖单事实回忆、跨单元概念关联、综合解释以及大纲修订后的时效性,由 LLM 评委依照人工编写的评分标准打分。两种表示在单事实问题上表现相当(10 分制下 9.33 对 9.96),但在需要跨课程单元关联的问题上急剧分化:编译 wiki 保持准确且有锚定(9.93;100% 锚定于所引来源),而检索得分更低且锚定明显不足(8.14;64%)。wiki 的引文让学生和教师能把任何论断追溯到首次引入它的那堂课,提供了机器学习课程所需的动态检索层。虽然还需进一步测试,但使用 AI 支持机器学习课程学习的教师应考虑基于 wiki 的结构,因其有潜力支撑最佳实践的基础要素。