因果干预揭示了多语言语言模型中类型组织的句法机制

语言学理论长期以来一直认识到跨语言的句法规律，从而导致声称这些相似的结构是由相似的机制处理的。然而，由于我们缺乏细粒度的、可操纵的人类处理机制，这一假设很难通过经验进行检验。在这项工作中，我们利用机械可解释性技术来研究多语言 LM 中的此类问题。在尝试跨语言迁移之前，我们首先隔离语言内部机制。在四个模型和三个经过充分研究的结构（主语-动词数一致、照应代词性别一致和填充词-间隙宾语提取）中，我们发现了一致的跨语言机制迁移。我们进一步发现迁移是分级的，类型学上相似的语言之间的迁移更多。我们相信我们的工作提供了关于跨语言句法结构和多语言处理的新颖假设，并更广泛地展示了语言模型的研究如何有助于为语言理论提供信息。