情境学习中的时间依赖性：归纳头的作用

大语言模型 (LLM) 表现出强大的上下文学习能力，但它们如何从上下文中跟踪和检索信息仍有待探索。利用认知科学中的自由回忆范式（参与者以任意顺序回忆列出的项目），我们证明了几个开源 LLM 一致地显示出类似串行回忆的模式，将峰值概率分配给紧随输入序列中重复标记之后的标记。通过系统的消融实验，我们表明感应头，即在当前词元先前出现后关注词元的专门注意头，在这种现象中发挥着重要作用。去除具有高感应分数的磁头可显着减少 +1 滞后偏差，而消融随机磁头不会产生相同的减少。我们还表明，删除具有高归纳分数的头部会比删除随机头部更大程度地损害提示使用少样本学习进行串行召回的模型的性能。我们的研究结果强调了 Transformer 中归纳头和时间上下文处理之间的机制上的特定联系，这表明这些头对于上下文学习期间的有序检索和类似序列回忆的行为特别重要。