论文

CEFR等级评估:以聚焦损失与监督对比学习适配多语种文本

CEFR Level Assessment across Languages and Text Granularities

模型训练应用与实践监督微调与指令调优行业应用

摘要

自动评估文本 CEFR 水平是教育自然语言处理中的一项重要任务。然而,由于 CEFR 水平的自然不平衡分布以及相邻水平之间的模糊界限,准确的 CEFR 水平预测仍然具有挑战性。为了应对这些挑战,我们提出了一个统一的训练目标,将聚焦损失(focal loss)与监督对比学习相结合。聚焦损失(focal loss)通过强调代表性不足和困难的示例来减轻类别不平衡,而监督对比学习则通过鼓励类内紧凑性和类间分离来学习更具区分性的表示。我们在单语和多语言环境中评估了所提出的句子和文档级 CEFR 评估方法。实验结果表明,我们的方法在所有设置中始终优于强大的基线,在多个 CEFR 评估基准上建立了新的最先进的性能。

CEFR等级评估:以焦点损失与监督对比学习适配多语种文本:论文配图
图1:本文模型在CEFR-SP测试集上,相对每位标注者标签的混淆矩阵。单元格为按行归一化的召回率;在12个训练随机种子间求平均,并按宏F1剔除表现最好和最差的种子。