时间上下文重激活驱动长上下文语言模型中的情景式顺序记忆

摘要

人类情景记忆支持对在长时间尺度上展开的经历进行检索,但由于人类长期记忆实验的机制可及性有限,这一能力背后的计算机制仍存争议。长上下文LLM或许能为揭示驱动这类检索的合理计算机制提供有希望的途径。本文通过一个时间顺序记忆任务,研究LLM是否以及如何捕捉情景记忆的核心行为特征。基于一个关于整本长篇小说记忆的人类行为新数据集,我们证明模型在该任务上表现出与人类相同的特征性距离效应。接着,我们应用长上下文机制可解释性分析来揭示模型如何解决该任务,发现模型性能依赖于一维时间编码,该编码在检索时由单一的时间重激活注意力头重新激活。这些发现支持将时间上下文重激活作为LLM情景式时间顺序记忆的重要机制,为时间维度的长期情景记忆如何在人工与生物系统中实例化提供了新见解。

时间上下文重激活驱动长上下文语言模型中的情景式顺序记忆：论文配图 — 图 3：每个注意力头的值缓存中的编码阶段时间信息。我们使用适合训练集的读出方向来评估随机词训练集和五个保留的测试数据集之间位置信息的等级相关性 τ\tau。数据是所有测试数据的平均值。左：Llama 3.1-8B-指导，右：Llama 3.1-70B-指导。头索引以查询头坐标显示（其中 4 个查询头在 Llama 3.1-8B-Instruct 中共享一个 KV 缓存，在 Llama 3.1-70B-Instruct 中共享 8 个查询头）。