无需联合训练的跨语言对齐：单语语言模型是否收敛于通用表示？

多语言模型中的跨语言对齐通常归因于联合训练：共享参数、混合语言批次或显式对齐目标。我们询问在非并行数据上训练的单语言模型是否可以在没有联合训练的情况下学习可对齐的表示。通过对严格的单语语言模型（例如 Goldfish 模型系列和不同研究实验室独立开发的模型）进行测试，我们发现了三个结果。相关性：这些模型开发了跨层的可对齐的表征几何，随着数据规模、模型规模或语言接近度的增加，对齐得到加强。构造：并行句子上的单个 Procrustes 旋转拟合映射模型之间的隐藏状态。因果关系：相同的轮换传递功能内容；在大多数情况下，将旋转的英国残差修补到事实完形填空的德国模型中，可以将预测翻转为捐助者的资本。我们确认跨语言对齐可以从语言结构及其携带的信息中产生，而不是从联合训练中产生，这指出了未来的实际方向，包括模型拼接、合并和从单语言组件构建的模块化多语言系统。