论文
EduBehaviors:基于断言的教育对话可审计编码模式
EduBehaviors: Assertion-based Schemas for Auditable Coding of Educational Dialogues
摘要
大型语言模型允许快速部署与感兴趣的结构相对应的教学注释,从而允许自然语言接口在会话数据集上生成分类。然而,由于 LLM 推理的不透明性,我们无法对模型为话语选择标签的原因进行可验证的、机械的洞察。我们介绍了 EduBehaviors 框架,这是一种可解释、可扩展的方法来注释教育数据,该方法使用大语言模型来测量与许多感兴趣的结构相关的重复可观察行为,然后根据这些可观察行为学习该结构的分类器。我们在 TalkMoves 数据集上评估框架,预测 Teacher TalkMoves 标签。我们的最佳配置导致宏观 F1 为 0.673,科恩 kappa 为 0.688,证明与直接提示方法相比具有竞争力。此外,我们还发布了 EduBehaviors Toolkit,这两个工具允许研究人员在自己的数据中操作 EduBehaviors 框架。