论文
LLM可以控制可读性吗? CEFR 控制的阿拉伯语一代的多维评估框架
Can LLMs Control Readability? A Multi-Dimensional Evaluation Framework for CEFR-Controlled Arabic Generation
摘要
虽然 大语言模型 (LLM) 可以生成流畅的阿拉伯语文本,但它们可靠控制可读性级别的能力仍不清楚。我们为欧洲共同语言参考框架(CEFR)控制的阿拉伯语文本生成提出了一个多维评估框架,评估遵循指令的 LLM 是否可以作为自适应语言学习的可靠生成器。我们的框架集成了受控提示、使用经过验证的 Taha-19 模型的自动可读性预测、词汇约束验证和句法复杂性分析。结果表明,结构化提示大大提高了 CEFR 的一致性。特别是,带有词汇约束的 CEFR 引导提示实现了与参考语言配置文件的最高一致性(0.91 余弦相似度),并且与预测的可读性水平(0.99)近乎完美一致,而无约束提示则表现出较弱的控制。这些发现为将可读性感知的阿拉伯语文本生成整合到适应性教育系统中奠定了实证基础。