论文

Pair2Score:基于 LLM 的作文评分的配对到绝对转移

Pair2Score: Pairwise-to-Absolute Transfer for LLM-Based Essay Scoring

应用与实践行业应用

摘要

许多评分应用程序需要绝对预测,而成对比较可以提供更简单的学习目标。我们提出了 Pair2Score,这是一个两阶段学习框架,通过参数高效的 LLaMA 适应将成对比较转换为绝对评分。第一阶段训练定向暹罗排序器,进行从绝对特征标签得出的成对比较;第 2 阶段使用可配置的传输策略(热启动和嵌入融合变体)训练绝对预测器。我们在共同旋转保留折叠和随机种子的五重协议下评估与标题对齐的自动作文评分(AES)特征(语法、词汇、句法)。在性状水平上,表现最好的转移变体在所有三个性状的绝对基线上提高了二次加权 kappa (QWK)。然而,并非所有传输配置都有帮助:一个时期的成对阶段传输比扩展的成对训练更可靠,并且传输配置(不仅仅是包含成对阶段)决定了下游评分是否有益。