论文

通过结构化记忆缓解大语言模型的过度个性化

Mitigating Over-Personalization in LLMs via Structured Memory

上下文与知识上下文工程记忆Agent记忆

摘要

对话式助手日益依赖持久化长期记忆来跨会话个性化响应。然而,当存储的用户信息被重新注入模型上下文时,也可能在不恰当或无关的场景中影响响应。我们研究记忆增强大语言模型(LLM)中的两种此类失效模式:跨域泄漏,即某一生活领域的记忆影响另一领域的响应;记忆诱导的谄媚,即存储的用户信念使模型更倾向于附和用户而非如实作答。我们对记忆呈现给模型的方式施加一种简单的推理时修改,不改变模型本身或记忆内容。在PersistBench上对七个模型,我们将常用的all-in上下文格式(记忆以非结构化列表注入)与按领域划分记忆的结构化格式进行比较。这一简单修改在保持效用的同时持续降低跨域泄漏,我们最强的方法相对基线平均降低8.8%的泄漏。

通过结构化记忆缓解大语言模型的过度个性化:论文配图
图1:使用平坦记忆存储(左)与分区记忆系统(右)的大语言模型中的跨域记忆泄漏。使用分区记忆时,模型仅使用相关领域。