论文

教学对话行为上下文注释的领域适应检索

Domain-Adapted Retrieval for In-Context Annotation of Pedagogical Dialogue Acts

上下文与知识检索增强

摘要

教学对话的自动注释是一项高风险的任务,如果没有足够的领域基础,LLM 经常会失败。我们提出了一个适应领域的 RAG 管道,用于指导移动注释。我们不是使用 微调 生成模型,而是采用 微调 的检索,这是一种轻量级嵌入模型,用于辅导语料库并在话语级别索引对话,以检索带标签的少镜头演示。通过对两个真实的辅导对话数据集(TalkMoves 和 Eedi)和三个 LLM 主干(GPT-5.2、Claude Sonnet 4.6、Qwen3-32b)进行评估,我们的最佳配置在 TalkMoves 上达到了 Cohen 的 $κ$ 0.526-0.580,在 Eedi 上达到了 0.659-0.743,大大优于 Cohen 的 $κ$无检索基线($κ= 0.275$-$0.413$ 和 $0.160$-$0.410$)。一项消融研究表明,话语级索引(而不仅仅是嵌入质量)是这些成果的主要驱动力,在域自适应检索下,TalkMoves 上的 top-1 标签匹配率从 39.7% 提高到 62.0%,Eedi 上从 52.9% 提高到 73.1%。检索还纠正了零样本提示中存在的系统标签偏差,并对稀有标签和上下文相关标签产生了最大的改进。这些发现表明,单独调整检索组件是实现专家级教学对话注释的实用且有效的途径,同时保持生成模型的冻结。