先复制，后翻译：解释多语言预训练中的翻译动态

大语言模型 展现出令人印象深刻的跨语言能力。然而，之前的工作通过训练过程中的孤立因素和稀疏点来分析这种现象，限制了我们对跨语言泛化如何出现的理解——特别是在学习的早期阶段。为了研究语言和翻译能力的早期轨迹，我们对九种不同语言预训练了多语言 1.7B 模型，以更精细的粒度捕获检查点。我们使用单词级翻译作为测试平台，引入一个新颖的数据集，通过行为分析、模型组件分析和基于参数的消融来跟踪翻译在训练中的发展情况。我们发现，该模型在 词元级 复制的同时快速获得基本语言能力，而翻译则分两个不同的阶段发展：第一阶段以复制和表面相似性为主，第二阶段在复制完善的同时开发出更通用的翻译机制。总之，这些发现提供了关于多语言预训练期间跨语言泛化如何发展的细粒度视图。