论文
HeLa-Mem：LLM 代理的 Hebbian 学习和联想记忆
HeLa-Mem: Hebbian Learning and Associative Memory for LLM Agents
摘要
长期记忆对于 大语言模型 智能体来说是一个严峻的挑战，因为固定的上下文窗口无法保持扩展交互的一致性。现有的记忆系统将对话历史表示为非结构化嵌入向量，通过语义相似性检索信息。这种范式无法捕捉人类记忆的联想结构，其中相关的经历通过重复的共同激活逐渐加强相互联系。受认知神经科学的启发，我们确定了生物记忆的三种核心机制：关联、巩固和传播激活，而这些机制在当前的研究中仍然基本上不存在。为了弥补这一差距，我们提出了 HeLa-Mem，这是一种受生物启发的内存架构，它将内存建模为具有 Hebbian 学习动态的动态图。 HeLa-Mem 采用双层组织：（1）通过共激活模式演变的情景记忆图，以及（2）通过 Hebbian 蒸馏 填充的语义记忆存储，其中反射代理识别密集连接的记忆中心并将其提炼为结构化的、可重用的语义知识。这种双路径设计利用了语义相似性和学习关联，反映了人类认知中的情景语义区别。 LoCoMo 上的实验证明了在四个问题类别上的卓越性能，同时使用的上下文标记显着减少。代码可在 GitHub 上获取：https://github.com/ReinerBRO/HeLa-Mem