分析多语言可读性评估的传统方法和神经方法

基于 Transformer 的模型在自动可读性评估 (ARA) 方面表现出色，但基于特征的模型仍然在积极使用，因为它们的预测与语言属性相关。这很重要，因为可读性标签是主观的并且依赖于评分者，因此嘈杂的 真值 的高精度可能反映了表面模式，而不是定义难度的语言结构。我们使用 ReadMe++ 数据集测试 Transformer 是否内化了与阿拉伯语、英语、法语、印地语和俄语传统模型相同的特征。 Shapley 加法解释 (SHAP) 确定了驱动传统分类器的特征，然后我们将其用作 TCAV 概念集来探测多语言 XLM-R 和特定于语言的编码器。 Transformer 恢复表面长度、句法和词汇多样性信号，并反映传统模型的有序 CEFR 结构。对齐方式因模型系列、语言和层而异，特定于语言的编码器比 XLM-R 更清楚地跟踪传统模型。高线性可分离性并不总是意味着方向影响，限制了基于计数的可读性特征的线性探测。