沙丘社区
论文

SPRInG：通过选择性参数化适配与检索插值生成实现 LLM 持续个性化

SPRInG: Continual LLM Personalization via Selective Parametric Adaptation and Retrieval-Interpolated Generation

Seoyeon Kim, Jaehyung Kim
模型训练上下文与知识持续学习记忆Agent记忆

摘要

个性化大语言模型通常依赖于静态检索或一次性适应，假设用户偏好随时间保持不变。然而，现实世界的交互是动态的，用户兴趣不断发展，这对模型适应偏好漂移而不发生灾难性遗忘提出了挑战。标准的持续学习方法常常在这种情况下陷入困境，因为它们不加区别地更新嘈杂的交互流，无法区分真正的偏好变化和瞬态环境。为了解决这个问题，我们引入了 SPRInG，这是一种新颖的半参数框架，旨在实现有效的持续个性化。在训练过程中，SPRInG 采用漂移驱动的选择性适应，利用基于可能性的评分函数来识别高度新颖的交互。这使得模型能够选择性地更新漂移信号上的用户特定适配器，同时在重放缓冲区中保留难以学习的残差。在推理过程中，我们应用严格的相关性门控，并通过 Logit 插值将参数知识与检索到的历史融合起来。长格式个性化生成基准的实验表明，SPRInG 的性能优于现有基准，验证了其在现实世界持续个性化方面的稳健性。

SPRInG：通过选择性参数化适配与检索插值生成实现 LLM 持续个性化
图1：静态个性化与持续个性化的比较。（上）静态个性化假设偏好不随时间变化，使用在固定历史快照上训练的冻结适配器。（下）持续个性化将用户建模为动态实体。该框架在顺序时间步（t = 1 , 2 , 3 , ⋯ t=1,2,3,\cdots）迭代更新适配器，以捕捉偏好漂移（颜色变化），同时保持历史上下文。