检查记分牌：多项选择题评价评分方案分析

自然语言处理的多项选择问答通常用答对题数或准确率评分，而教育测评把作答方式和评分规则的组合作为重要设计选择，决定奖励哪些能力。我们研究六种受教育测评启发的方案，覆盖干扰项排除、弃答、置信度校准和自我纠错。这些方案在大模型基准中改变31个模型的排名，变化超出仅改写传统答题提示的影响；也更好地预测用户在LLM Arena的偏好，并揭示不同能力。例如GPT-5很少弃答且容易自我纠错，较弱的开放权重模型则更常弃答，不愿排除选项。基于这些收益，本文讨论将替代评分方案扩展到选择题以外任务的方法。