LatentPersonal：以少量用户样本推断轻量LoRA适配

人们越来越期望大语言模型 (LLM) 能够适应个人用户，但当只有有限的用户特定样本可用时，有效的个性化仍然具有挑战性。在这项工作中，我们采取了另一种观点：预训练的LLM可能已经具备个性化的潜在能力，因此一些用户样本可能足以引导模型以最小的用户特定适应实现与用户一致的行为。从这个角度来看，我们提出了 LatentPersonal，一个将个性化制定为共享潜在适应空间中的导航的框架。 LatentPersonal 从一些用户样本中推断出紧凑的潜在表示，以指导特定于用户的模型适应，并通过变分信息瓶颈进行正则化，以鼓励紧凑的偏好表示。我们使用 LoRA 实例化 LatentPersonal，利用其低秩参数化作为个性化的自然低维适应空间。通过简单地在共享的低秩因子之间插入特定于用户的引导向量，该模型可以通过这种紧凑表示的轻量级推理来导航到个性化适应，而无需更新共享的 LoRA 参数。跨多个个性化数据集的实验表明，LatentPersonal 大大减少了特定于用户的适应开销，同时仅通过少数特定于用户的交互即可实现有效的个性化，并且在一次性机制中具有特别强大的性能。