多语言语言模型通过语言结构对脚本进行编码

多语言语言模型 (LM) 将类型和拼写上不同的语言的表示组织到共享参数空间中，但这种内部组织的本质仍然难以捉摸。在这项工作中，我们研究了哪些语言特性（抽象语言身份或表面形式线索）塑造了多语言表征。为此，我们使用语言激活概率熵 (LAPE) 指标分析不同模型系列和规模的语言相关单元，并使用稀疏自动编码器进一步分解激活。我们发现这些单元强烈依赖于正字法：罗马化导致近乎不相交的表示，既不与母语输入也不与英语对齐，而词序改组对单元身份的影响有限。探索表明，类型结构在更深层次中变得越来越容易接近，而因果干预表明，生成对对表面形式扰动不变的单元最敏感，而不是仅通过类型排列识别的单元。总的来说，我们的结果表明，多语言语言模型围绕表面形式组织表征，语言抽象逐渐出现，而不会崩溃为统一的国际语。