论文
PLUME：通过低秩用户调制在共享子空间中实现大语言模型的参数高效个性化
PLUME: Parameter-Efficient Personalization of Large Language Models via Low-Rank User Modulation in Shared Subspaces
摘要
个性化大语言模型（LLMs）对于提供符合个体用户风格、意图和偏好的AI辅助至关重要。虽然针对用户的微调能显著提升个性化质量，但会引入显著的参数和存储开销，限制其在大规模用户群体中的扩展性。我们提出了PLUME（通过用户调制与共享子空间实现的个性化低秩自适应），一种轻量级框架，通过利用共享的特定任务子空间，实现高效且表达能力强的单用户自适应。具体而言，PLUME首先从聚合的用户数据中学习一个全局任务子空间，然后仅在该子空间内训练一个轻量级的小方矩阵以实现个性化，同时保持共享组件固定。进一步引入跨层共享参数和秩-1残差项，显著减少冗余并保持表达能力。在多个个性化文本生成基准中，PLUME在性能上达到或超越强基线，同时将每个用户的参数量减少超过95%。这些结果证明，基于共享子空间调制且残差极小的方法，是实现可扩展且语义上具有一致性的LLM个性化的一种有效途径。
