论文
一个统一的框架,用于引发可解释的多特征论文评分的结构化反馈
A Unified Framework to Elicit Structured Feedback for Interpretable Multi-Trait Essay Scoring
摘要
多特征自动作文评分 (AES) 需要对相互依赖的特征进行基于标题的推理,而不是孤立的分数预测。现有的反馈增强方法通常将反馈与评分或独立评估特征脱钩,从而削弱了评分-反馈的一致性和评分标准的一致性。我们提出了 HiFTS,这是一个统一的自回归框架,可以在预测特质水平和整体分数之前生成分层 CoT 反馈。 HiFTS 从教师 LLM 中提取基于标题的分层 CoT 反馈,并训练学生模型以共同生成反馈和分数。 HiFTS 进一步应用群体相对策略优化与综合奖励平衡分数协议、校准、反馈质量和结构有效性。在推理时,轻量级全局先验提供整体指导,以减少长形式推理过程中的漂移。我们还介绍了 CFMS-34,这是一个中国多性状 AES 数据集,包含 951 篇带有整体分数和 34 个基于评分标准的特征注释的论文。 CFMS-34 和 ASAP++ 上的实验表明,HiFTS 实现了强大的整体和特质级别评分,同时产生连贯、符合标准的反馈。