MemGuard：防止长期记忆增强 大语言模型 中的内存污染

记忆增强型 大语言模型 通过在交互过程中保持长期记忆，将推理扩展到固定上下文窗口之外。然而，现有的记忆系统经常将稳定的用户事实、情景事件和行为规则折叠到共享空间中，从而允许检索功能不同的记忆并将其用作可互换的证据。我们将这种故障模式识别为异构内存污染，其中特定于上下文的事件变得过于笼统的主张，或者语义相关但功能不兼容的内存误导了一代人。为此，我们引入了 MemGuard，一种类型感知内存框架，可在内存构建和检索期间保留功能内存边界。它在写入时为每个内存分配一个明确的功能角色，维护类型隔离内存之间的关系，并有选择地仅从必要的内存类型中组成证据，从而减少不相关或功能不兼容的证据的污染。在幻觉和长视野对话基准测试中，MemGuard 将内存可靠性提高了 28.27%，同时检索的内存词元比以前的方法少了 5.8 倍。这些结果表明，可靠的长期推理取决于有原则的组织和异构内存的选择性使用。