复数参考电路：LLM 如何表示和检索单数和复数实体

共指消解是上下文推理中的一项重要任务。在本文中，我们研究了表示和检索单数和复数实体以供复数参考的机制。我们结合使用机械可解释性和注意力模式分析来研究 LLM 预测代词以引用前面提到的实体的过程。使用一系列因果干预技术，我们找到了一组注意力头，它们负责（1）表示输入中的共指信息，（2）识别形成复数指称的实体，（3）将信息传输到负责选择先行词和预测代词的组件。我们还发现 LLM 与人类对复数代词的偏好一致。具体而言，如果复数结构中的实体在本体上相似并且通过连词“和”连接，则它们更有可能被称为复数实体。