使用同步上下文无关语法转换评估上下文翻译

资源匮乏的语言对 大语言模型 (LLM) 的机器翻译提出了挑战，它需要大量的训练数据。规避这种数据依赖性的一种潜在方法是依靠 LLM 使用语言上下文描述的能力，例如教科书和词典。为此，LLM 必须能够推断语言的语法描述和相关句子之间的联系。在这里，我们使用该任务的形式模拟来隔离此技能：基于上下文中提供的形式语法的字符串转导。我们构建了同步上下文无关语法，它定义了一对形式语言，旨在对自然语言语法、形态和书面表示的特定方面进行建模。使用这些语法，我们测量了在给定语法和源语言句子的情况下，LLM 将句子从一种形式语言翻译成另一种形式语言的能力。我们改变语法的大小、句子的长度、语言的句法和形态特性以及它们的书面文字。我们注意到三个关键发现。首先，LLM 的翻译准确性随着语法大小和句子长度的变化而显着下降。其次，源语言和目标语言之间形态和书面表示的差异会严重降低模型性能。第三，我们检查了模型所犯错误的类型，发现它们最容易从目标语言词汇中回忆起错误的单词，产生新单词的幻觉，或者不翻译源语言单词。