MemDefrag：大语言模型 的潜在内存碎片整理

潜在记忆将过去的知识片段存储为每层隐藏状态，已成为 大语言模型 (LLM) 中长期记忆的有前途的范例（例如 MemoryLLM 和 M+）。然而，由于位置编码未对齐以及缺乏任何跟踪机制来区分目标内存片段和不相关的内存片段，该范例在内存更新期间性能显着下降。为了发现这样的跟踪机制，我们探测了存储的内存片段上的分层注意力密度，并发现一小组中间 Transformer 层始终将最高密度集中在目标片段上 - 暴露了固有的跟踪信号。有鉴于此，我们提出了 MemDefrag，这是一个 无需训练 和模型无关的框架，它（1）使用中间层跟踪信号进行内存碎片整理（排名、重新排序和过滤内存），（2）一旦超出容量，就应用信息引导的比例遗忘机制。实验表明，MemDefrag 在知识保留（例如，50 次内存更新后分别为 43.0% 与 17.4%/17.6%）和长上下文基准测试方面明显优于 MemoryLLM 和 M+，并且在各种 LLM 和潜在内存变体中具有良好的泛化能力。该代码可在 github.com/ryehr/MemDefrag 获取。