论文
了解即构建:代理内存的模式约束生成
To Know is to Construct: Schema-Constrained Generation for Agent Memory
摘要
建构主义认识论认为,知识是主动建构的,而不是被动复制的。尽管 大语言模型 (LLM) 具有生成性质,但大多数现有代理记忆系统仍然基于密集检索。然而,密集检索严重依赖于句子内的语义重叠或实体匹配。因此,嵌入通常无法区分语义相似但上下文不同的实例,通过检索上下文不匹配的条目引入大量噪声。相反,直接采用开放式生成进行内存访问存在“结构幻觉”的风险,即模型生成内存中不存在的内存密钥,从而导致查找失败。受这种认识论的启发,我们认为记忆从根本上是由认知图式组织的,有效的回忆必须是在这些图式结构中执行的生成过程。为了实现这一点,我们提出了 SCG-MEM,一种模式约束的生成内存架构。 SCG-MEM 将内存访问重新表述为架构约束生成。通过维护动态认知模式,我们严格限制 LLM 解码以仅生成有效的内存条目密钥,从而提供针对结构幻觉的正式保证。为了支持长期适应,我们通过同化(将输入扎根到现有模式)和适应(用新概念扩展模式)来模拟记忆更新。此外,我们构建了关联图以通过激活传播实现多跳推理。 LoCoMo 基准测试表明,与基于检索的基线相比,SCG-MEM 显着提高了所有类别的性能。