老虎机：LLM 如何跟踪多个实体

语言模型必须将实体绑定到它们拥有的属性，并在上下文中维护多个这样的绑定关系。我们研究如何跨词元位置表示多个实体，以及单个词元是否可以承载多个实体的绑定。我们引入了一种多时隙探测方法，该方法可以解开单个词元的剩余流激活，以恢复有关当前描述的实体和前一个实体的信息。这两种信息被编码在单独且基本上正交的“当前实体”和“优先实体”时隙中。我们分析了这些插槽的功能角色，发现它们有不同的用途。与当前实体槽一起，优先实体槽支持关系推理，例如实体级归纳（“故事中谁在爱丽丝之后？”）和相邻实体之间的冲突检测。然而，只有当前实体槽用于明确的事实检索问题（“故事中有人很高吗？”“高实体的名字是什么？”），尽管这些答案也可以从先验实体槽线性解码。与此限制一致，开放权重模型在处理语法时表现出接近偶然的准确性，该语法强制在单个标记上强制两个主谓宾绑定（例如，“爱丽丝准备和鲍勃消耗食物。”）有趣的是，最近的前沿模型可以正确解析这一点，这表明他们可能已经开发了更复杂的绑定策略。总体而言，我们的结果揭示了激活中可用的信息与模型实际使用的信息之间的差距，并表明当前/优先实体槽结构是需要同时持有两种观点的行为的自然基础，例如阿谀奉承和欺骗。