双重麻烦：双语预训练在共享语言表示中留下语言条件效应

一个概念可以在不同语言之间产生不同的关联，而现代语言模型在预训练期间会学习英语和许多其他语言。然而，现有模型之间的比较无法轻易区分任何一种语言如何改变这些模型表示英语概念的方式，因为它们的训练语料库、计算、架构和随机种子都不同。我们通过受控实验来研究这个问题，其中使用了 40 个匹配的 310M 参数解码器模型，这些模型共享架构、分词器、训练配方和英语数据源。每个双语条件都会添加八种语言中的一种，而四个实验比较分别考虑了英语暴露、总训练和英语文档重叠。我们使用 3,000 个常见英语单词来对齐每个模型对，然后测量 1,000 个保留的英语概念在 50 个固定语义对比中的位置，例如红色与白色。在 32 项实验比较中，双语和纯英语条件下的英语概念位置差异大于使用不同随机种子的纯英语运行之间的差异。这些差异在上下文状态中比在词元嵌入中更大，并且在中间层中达到峰值。因此，与英语一起学习的语言可以改变模型表示英语概念的方式，即使其英语输入表示明确对齐。