共享语法的共享电路：跟踪跨语言的主谓一致

多语言 大语言模型 通常会跨语言进行泛化，之前的工作表明它们的内部机制可以跨语言重叠。然而，目前尚不清楚这种共享何时出现，以及它是否随着相同语法操作的明显实现而变化。我们研究现在时主谓一致的问题，这是一种在不同语言之间存在很大差异的形态句法过程，并且仅在英语中表达较弱。使用跨 29 种语言和五个开源模型系列的激活补丁和注意力分析，我们识别了与一致性有因果关系的注意力头，并比较了不同语言的这些头级签名。我们发现，具有明显人称/数字变形的语言比非共轭语言表现出更相似的一致性电路，当分析隔离变形对比本身的恢复时，出现最强的共享。英语提供了一个信息丰富的桥梁案例，在需要公开一致的情况下变得更加类似于结合语言。最后，许多相关头部在不同语言中表现出相似的注意力模式，这表明跨语言重叠反映了共享的功能角色以及共享的本地化。总之，这些结果表明，多语言 LLM 重用部分共享的计算结构来实现形态句法一致，而不是依赖于完全独立的特定于语言的解决方案。