从结构角度看大语言模型的多语言性

尽管英语在训练数据中占主导地位，但 大语言模型 (LLM) 在通过多语言数据上的 pre- 和 后训练 处理多种语言方面表现出色。之前专注于标记表示的工作揭示了这些 LLM 如何处理非英语文本。尽管这些分析提供了富有洞察力的发现，但它们未能捕捉到结构视图，而结构视图是语言的固有属性。在本研究中，我们通过表征结构分析探讨了 LLM 的多语言性。我们的研究结果表明，与高资源和中等资源语言相比，低资源语言在结构上与英语的差异更大，并且特定于语言的 后训练 在保留语言间关系的同时改变了它们的结构。