论文
RUSPAN:以评分准则片段联合编码完成简答评分
Rubric Spans are Label Representations: Joint LLM Encoding for Short Answer Scoring
摘要
自动简答评分 (ASAS) 需要的模型可以根据特定问题的标准对学生的回答进行评分,同时保持高效且可跨评分标准集转移。我们提出了 RUSPAN,一个以标题为条件的 ASAS 框架,它将标题描述视为语义标签表示。 RUSPAN 将问题上下文、学生答案和所有候选评分标准级别序列化为单个序列,然后根据单次 LM 传递中生成的评分标准范围和整个序列表示按列表对级别进行评分。我们进一步介绍了 RUSPAN-RIM,其中独立于标题的掩码可防止标题跨度相互影响,使标题表示仅依赖于答案和问题上下文,并防止在零样本迁移训练期间过度拟合标题模式。在涵盖英语、德语和葡萄牙语的六个 ASAS 基准上,RUSPAN 相对于判别性基准和生成基准提高了单一基准得分,而具有位置重新索引功能的 RIM 相对于 PT-ASAG(与 最强的组合语言和标题结构转变。
