关键交接：混合语言模型中的检索

两跳问题使语言模型检索两次：一次生成桥实体，一次用它进行检索。Transformer在其早期层中解决了该实体。混合模型用循环状态取代了大部分注意力，因此密钥在哪里可用以及在答案上花费在哪里是未知的。回答“球在哪里？”从“球属于爱丽丝”和“爱丽丝在花园里”转向爱丽丝，这个问题没有提到这个名字。模型可以通过 Alice（它计算出的密钥）或事实在提示中的位置到达花园。在密集和混合的十二个模型中，我们将隐藏状态从一个故事移动到另一个故事，其中两条路线通向不同的地方，并读出模型给出的位置。注意力层会转换我们测试的每个模型中的关键，并且穿过该层会消除其可用效果，所有这些都不会引起注意。在顺序混合中，这使得答案成为一种切换：循环层将密钥向前传送，而注意力则花费它。检索并不总是就此停止。将不同的事实写入最后一个注意力层后面的循环层的内存中可以将答案移向该事实，将其几率乘以 1.3 到 2.7，而哪些混合体会这样做并不是由其架构或训练决定的。该读取是通过键而不是位置来寻址的：混合中的循环状态不仅是载体，而且是后续层可以查询的存储器。