论文

RUSPAN:以评分准则片段联合编码完成简答评分

Rubric Spans are Label Representations: Joint LLM Encoding for Short Answer Scoring

应用与实践模型训练模型推理监督微调与指令调优判别式推理与决策行业应用

摘要

自动简答评分 (ASAS) 需要的模型可以根据特定问题的标准对学生的回答进行评分,同时保持高效且可跨评分标准集转移。我们提出了 RUSPAN,一个以标题为条件的 ASAS 框架,它将标题描述视为语义标签表示。 RUSPAN 将问题上下文、学生答案和所有候选评分标准级别序列化为单个序列,然后根据单次 LM 传递中生成的评分标准范围和整个序列表示按列表对级别进行评分。我们进一步介绍了 RUSPAN-RIM,其中独立于标题的掩码可防止标题跨度相互影响,使标题表示仅依赖于答案和问题上下文,并防止在零样本迁移训练期间过度拟合标题模式。在涵盖英语、德语和葡萄牙语的六个 ASAS 基准上,RUSPAN 相对于判别性基准和生成基准提高了单一基准得分,而具有位置重新索引功能的 RIM 相对于 PT-ASAG(与 最强的组合语言和标题结构转变。

RUSPAN:以评分准则片段联合编码完成简答评分:论文原图
图 2:上图:标准自回归注意力(左)与应用 RIM 后的注意力(右)的注意力掩模。绿色=允许;粉红色=被阻止。在 RIM 下,每个标题块 RkR_{k} 仅关注上下文(CC、AA)及其自身,而不关注其他标题块。底部:位置 ID 重新索引应用于每个 rubric 范围,以便每个 rubric 块从相同的锚点偏移 (NC+NA−1N_{C}+N_{A}-1) 开始其位置计数,从而保留每个范围内的相对位置。