论文

DPPM:用于个性化语言模型的双路径参数内存

DPPM: Dual-Path Parametric Memory for Personalized Language Models

模型训练参数高效训练持续学习

摘要

长期个性化需要语言模型使用交互历史记录来跟踪用户跨会话的偏好。参数存储器将此交互历史记录编码为模型参数或适配器,从而减少了将其包含在推理上下文中的需要。然而,独立的上下文编译未指定跨会话集成,而定期更新可能会削弱早期的证据。为了应对这些挑战,我们提出了双路径参数存储器(DPPM)。其证据路径直接汇集交互历史的表示以保留早期证据,而其增量路径依次更新关联状态以捕获变化。融合两个输出会产生历史条件的 LoRA 适配器,将证据积累与有序修订结合起来。在多个骨干网中,DPPM 的性能优于评估的基线,在 PersonaMem-v2 上达到 54.22%,在 PrefEval 上达到 86.79%。这些结果表明 DPPM 为跨会话个性化参数存储提供了一种简单而有效的设计选择。