论文
LINEUP:个性化容量的共享与解耦
Does Every User Need a Private LoRA? Decoupling Personalization from Per-User Adaptation
摘要
个性化大语言模型通常需要为每个用户维护完整的适配状态,但该范式随用户规模增长扩展性差。我们以个性化容量分配的视角重审这一设计:多少适配容量可跨用户共享、共享容量应如何组合、多少必须用户特有。三项互补的实证分析给出答案:独立用户适配器包含大量跨用户可复用结构;可复用方向的效用同时反映用户相关性与查询间变化;用户历史为紧凑的个体校正提供可迁移信号。据此我们提出LINEUP:学习可复用低秩个性化因子库,通过用户条件召回与查询相关校准组合它们,并把目标用户适配限制在共享校正空间上的极小用户码。该设计把富有表现力的个性化容量与每用户可训练状态解耦:每个目标用户只优化8个标量,所有共享组件保持固定;对照的私有LoRA配置每用户需419万参数。理论分析给出有限步、有限历史的风险界及用户码细化优于历史初始化的充分条件。在横跨个性化分类、预测与生成的六个任务上,LINEUP在全部12项指标领先(各三次独立运行平均,如LaMP-3 RMSE较最强基线降低11.4%),并在有限历史下保持优势。结果表明丰富的个性化主要由可复用、条件组合的共享容量支撑,独立用户适配只需极小的校正状态。