将句法与语言分离：多语言翻译的机械解释 LLM

多语言 大语言模型 (mLLM) 在机器翻译方面取得了出色的性能，但我们对它们将表示从一种语言转换为另一种语言的机制的理解仍然不完整。先前的工作表明，翻译在 mLLM 中分解为可分离的过程，其中概念内容首先独立表示，然后生成特定于语言的形式。在这项工作中，我们表明翻译比之前假设的更加模块化，并且翻译过程中的输出语言生成实际上可以进一步分为语法和表面语言过程。我们构建受控的多语言数据集，隔离词序中的跨语言差异，并使用因果干预和探索来跟踪翻译过程中表征的转换方式。我们发现模型在实现目标语言表面形式之前首先构建目标端词序。我们识别出对句法转换选择性敏感的个体注意力头，同时对语言身份基本上保持不变。这些结果确立了对句法结构作为翻译中独立阶段的承诺，扩展了先前的分解并展示了如何通过 mLLM 中功能不同的组件来实现翻译。