论文

TAP-PER:以紧凑用户表示实现可扩展模型个性化

Beyond Retrieval: Learning Compact User Representations for Scalable LLM Personalization

模型训练参数高效训练

摘要

模型个性化需要适应不同用户,同时保持稳健性与部署效率。输入层方法检索用户历史或构造用户画像提示,受检索与提示设计影响;参数层方法为用户维护专用适配模块,存储与维护成本随用户增长。TAP-PER将用户偏好编码为可学习的轻量用户状态前缀嵌入,避免将历史记录串入提示,也替代较重的用户专用适配器。受个性化推荐启发,方法将用户建模拆分为用户状态和查询条件两部分,并加入时间信号以反映兴趣变化。六项LaMP任务的分类、评分与生成实验中,方法稳定优于基于提示和模型适配的基线。每用户参数量仅为OPPU的约1/130;在1000用户规模下,总参数占用约为PER-PCS的一半。