论文

知识图谱状态帮助 LLM 分析学生协作理解

Modeling Student Sensemaking with LLMs and Knowledge-Graph-Guided Inference

应用与实践行业应用

摘要

协作科学学习需要对学生对话进行细致入微的解释,以描述学习者如何识别知识差距、建立解释并努力解决问题——这是一种劳动密集型且难以扩展的理论驱动分析。我们研究了指令调整的大语言模型(LLM)是否可以在没有特定任务训练的情况下支持协作意义建构的多维分析,以及结构化知识状态信息是否可以改善模型推理。我们评估了两个中型大语言模型在 23 个注释丰富、专家标记的片段中的提示条件,这些条件的定义支架、推理模式和回合结构各不相同。如果没有推理,模型往往会高估成功的意义建构;推理提示可以提高对不成功案例的识别。知识状态诊断提供了额外的基础,改进了对不成功意义构建的检测并提高了与专家注释的一致性。没有一种配置能够在所有意义构建维度上表现最佳,这凸显了任务的多维性质。

结合学生对话、知识图谱状态及领域本体进行理解分析的实验流程。
图1(图注摘要):结合学生对话、知识图谱状态及领域本体进行理解分析的实验流程。