论文
超越怀疑主义:利用自适应教学警戒框架评估 LLM 教学意图推理
Beyond Skepticism: Evaluating LLMs Pedagogical Intent Reasoning with the Adaptive Pedagogical Vigilance Framework
摘要
大语言模型 (LLM) 在教学交流中推理教学意图的能力仍未得到充分探索,特别是在翻译教育学等教育领域。为了解决这个问题,我们提出了自适应教学警惕(APV)框架,这是一种新颖的计算形式主义,它将交流警惕重新构建为通过意图推理优化学习的自适应机制。 APV 通过贝叶斯教学意图推理引擎 (PIIE) 将问题形式化,该引擎模拟教师如何选择内容以最大化教学效用,以及警惕的学习者应如何反向推理潜在的教学配置(包括流派、立场和激励)。我们通过三层层次来评估 APV:区分教学类型、推理结构化教学设置以及推广到真实的教育话语。在领先的 LLM(例如 GPT-4o、Claude 3.5)上进行的实验表明,APV 显着提高了模型的警惕性。它在教学内容和基于曝光的内容之间实现了最强的区分,与人类判断高度相关($r=0.958$),并在基线方法退化的自然数据上保持稳健的性能。这项工作建立了一个统一的框架,用于评估和增强 LLM 对教学动机的理解,推动更可靠的人工智能辅助学习系统的开发。