位置认知专业化：LLM 在哪里学习理解和说您的语言？

将 大语言模型 (LLM) 适应新语言是一个昂贵且不透明的过程。了解语言模型如何获取新语言和多语言能力是实现高效适应的关键。先前关于多语言可解释性研究的工作主要集中在经过训练的模型如何处理多语言指令，而没有探索它们在训练过程中习得新语言的机制。我们通过两种功能性认知专业化的视角来研究仅解码器 Transformer 上的这些训练动态：语言感知（输入理解）和生产（输出生成）。通过对低资源语言的实验，我们通过从模型的输入和输出方向运行层消融扫描，演示了如何在语言模型的不同区域中出现感知和生产专业化。基于观察到的专业化模式，我们提出了 CogSym，这是一种分层启发式算法，可以通过专门的 微调 几个早期和后期层实现有效的适应。我们表明，仅调整 25% 的最外层即可实现下游任务性能，与完整 微调 基线的偏差在 2-3% 以内。 CogSym 与 LoRA 等适配器方法产生一致的性能，展示了超越完整 微调 的泛化能力。这些发现为更好地理解 LLM 如何学习新语言并推动可访问和包容性的语言建模提供了见解。