论文

PsyScore:用于特质自适应论文评分和 ZPD 支架反馈的心理测量感知框架

PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback

应用与实践行业应用

摘要

有效的自动作文评分 (AES) 预计将支持可靠的评估和可操作的教学反馈。然而,现有方法通常将评分和反馈视为独立的组成部分:神经评分模型提供的可解释性有限,而基于 大语言模型 (LLM) 的反馈通常对学习者的熟练程度不敏感。为了解决这种碎片化问题,这项工作提出了 PsyScore,这是一种心理测量感知框架,通过共享的潜在能力表示将诊断评估与教学支架相结合。 PsyScore 包含三个关键模块:特征自适应神经 IRT 评分器,将分级部分学分模型 (GPCM) 纳入神经架构,从而能够在保持心理测量可解释性的同时精确估计学生能力;ZPD 支架反馈生成器,根据诊断的能力参数调整多智能体反馈策略,以适应不同熟练程度的教学重点;以及多视角反馈评估策略,通过成对偏好判断和学生修订来评估反馈质量模拟。 ASAP++ 数据集上的实验表明,PsyScore 实现了有竞争力的评分性能,同时提供了在教学上更加一致的反馈。