桥接路由注意力头：LLM多语言多跳推理的内部路径

多语言LLM可以跨语言回答相同的多跳推理问题，但我们缺乏对它们是否共享内部电路的机制解释。我们通过三阶段流程在两个大型多语言LLM中确定了桥接路由头（BRH）。由此产生的特定于语言的耳机集在五种语言中表现出近乎完全的相互排斥性，Llama 3.1 70B 的平均 Jaccard 相似度仅为 0.017，Qwen 2.5 72B 的平均 Jaccard 相似度仅为 0.057，揭示了语言特殊回路。消除一般 BRH 将两跳负对数似然 (NLL) 提高了随机头基线的 39-89 倍，提供了其作用的直接因果证据。在失败的目标语言传递中放大这些头部可以挽救高达 51.7% 的跨语言失败，而无需任何培训。这两个模型共享这种双电路模式，但分配头的方式不同：Llama 将链接集中在大型通用池中，而 Qwen 则依赖于更大的特定语言池。这些结果共同表明，仅激活水平干预就可以从跨语言推理失败中恢复正确答案。