论文

多语言世代中的翻译语考察 大语言模型

An Investigation of Translationese in the Generations of Multilingual Large Language Models

模型评测模型行为与机制分析

摘要

从另一种语言翻译而来的文本往往带有翻译证据$\unicode{x2014}$因此,它通常被称为$\textit{translationese}$。多语言 大语言模型 (MLLM) 生成多种语言的文本。然而,目前尚不清楚 MLLM 的生成是否类似于内部翻译(来自英语或可能的其他语言),从而导致翻译语。在这里,我们提出以下研究问题:(1)MLLM 生成的文本是否类似于翻译语? (2) MLLM 生成的翻译语与直接翻译生成的翻译语有何不同?我们利用既定的翻译文本指标来评估由最先进的 MLLM 生成的五种语言的文本,与非翻译和人工编写的基线进行比较,以便将翻译语言与其他类型的干扰隔离开来。通过使用高精度分类模型、对个体语言特征的方差分析以及两种语言(德语和西班牙语)子集的人工注释收集,我们评估了 MLLM 生成的翻译内容,并检查了区分 MLLM 生成的文本与典型翻译相关干扰的关键特征。