论文
通过结构化记忆缓解大语言模型的过度个性化
Mitigating Over-Personalization in LLMs via Structured Memory
摘要
对话式助手日益依赖持久化长期记忆来跨会话个性化响应。然而,当存储的用户信息被重新注入模型上下文时,也可能在不恰当或无关的场景中影响响应。我们研究记忆增强大语言模型(LLM)中的两种此类失效模式:跨域泄漏,即某一生活领域的记忆影响另一领域的响应;记忆诱导的谄媚,即存储的用户信念使模型更倾向于附和用户而非如实作答。我们对记忆呈现给模型的方式施加一种简单的推理时修改,不改变模型本身或记忆内容。在PersistBench上对七个模型,我们将常用的all-in上下文格式(记忆以非结构化列表注入)与按领域划分记忆的结构化格式进行比较。这一简单修改在保持效用的同时持续降低跨域泄漏,我们最强的方法相对基线平均降低8.8%的泄漏。
