ComplexityMT：文本复杂性与机器翻译之间交互的基准测试

翻译文本时，译文是否保留了原文的复杂性？我们引入了 ComplexityMT，这是一项新的挑战，用于评估文本复杂性和机器翻译如何相互作用和影响，使用欧洲共同语言参考框架 (CEFR) 级别作为文本复杂性的衡量标准。我们针对阿拉伯语、荷兰语、英语、法语、印地语和俄语等六种语言，针对两项任务评估了三种开放权重模型、一种封闭模型和一个商业机器翻译系统：i) CEFR 与翻译难度的相关性，以及 ii) 源文本 CEFR 水平的变化。我们的实验表明，较高的 CEFR 级别会使文本更难翻译，而机器翻译会在文档级别降低大多数语言的目标文本的 CEFR 级别。这些发现为从事多语言教学内容生成和机器翻译难度估计的研究人员和从业者提供了新的见解。