从学习资源到能力：基于 LLM 的带有证据和图形约束的标记

将学习资源与结构化能力框架联系起来是在学习管理系统 (LMS) 中实现基于能力的搜索和课程分析的关键。然而，手动标记是劳动密集型的，而全自动方法往往缺乏透明度。在本文中，我们提出了一种端到端对齐管道，它使用 大语言模型 (LLM) 作为受约束的、证据生成的标记器。 LMS 资源（包括教学内容和评估）首先被分割成有意义的教学片段。对于每个片段，从通过基于图形的上下文丰富的结构化能力档案中检索一小组候选能力。然后，LLM 从该集合中选择最相关的能力，并从片段文本中提供支持证据范围。这些预测使用能力图的结构进行细化，并在资源级别进行聚合。我们根据贡比涅理工大学 (UTC) 计算机科学系能力参考构建的数据集评估我们的方法，该数据集涵盖多种课程材料中的 22 项能力。我们的 LLM+BM25+Graph (LBG) 管道取得了强劲的结果，片段级别的微 F1 为 0.57，宏 F1 为 0.50，资源级别的宏 F1 为 0.51，MRR 为 0.82，优于零样本和少样本 LLM 变体、检索/相似性基线和监督分类器-同时还产生更多机械可追溯的证据跨度以支持人工审计和教育分析。