AICG以技能掌握监督改善RoBERTa数学简答评分

基于 Transformer 的语言模型在自动简答评分（ASAG）方面取得了显着的成功。然而，ASAG 中当前的方法很难理解、推理和评估涉及符号和公式的复杂数学答案。这些仅评分的方法无法泛化到与相同分数相关的不同反应和技能状态。此外，他们忽略了生成式人工智能（AI）在评估学生的表现和知识掌握情况时所带来的潜在向上偏差。为了解决这些限制，我们提出了 AICG（人工智能感知认知监督评分），一个两分支多任务框架。第一个分支结合了基于 RoBERTa 的回归、序数和分类头，用于单份答案评分。第二个分支使用专家设计的 Q 矩阵将响应与评估的技能相关联，并共同预测 G-DINA 派生的技能掌握程度和学习增益。通过共享编码器，这些技能水平目标为分数标签之外的答案评分提供认知监督。 AICG 进一步使用 Gen-AI 检测器，通过监督对比预训练和线性分类进行训练，来估计辅助概率并将其转换为可靠性权重，从而削弱学习评估期间不可靠的认知证据。我们对 19 个学术学期的 49,402 份教师评分回答进行了实验。相对于 RoBERTa 回归，AICG 将平均绝对误差 (MAE) 降低了 50.3%，并将二次加权 kappa (QWK) 从 0.798 提高到 0.927。 消融实验 将 Q 矩阵引导的认知监督视为改进的主要来源，而 AI 感知权重比未加权认知模型进一步将总体 MAE 降低了 4.2%，并在最近的四个后 Gen-AI 学期中持续改进 MAE 和 QWK。