Aplaud：基于自适应个性化低秩分解的用户特定大语言模型

本文研究了使用微调的大语言模型（LLM）进行个性化问卷响应预测的问题。该任务面临独特挑战：每个用户的训练数据有限，模型存储需具备可扩展性，且需利用问卷问题间的共享结构。为解决这些问题，我们提出了Aplaud（自适应个性化低秩与用户特定嵌套分解），一种轻量级且可扩展的LLM个性化框架。Aplaud在LoRA范式基础上，将适应过程分为一个冻结的共享低秩基和一个紧凑的用户特定修正项，并加入一个秩一残差以实现更精细的个性化。为进一步降低每个用户的参数开销并缓解过拟合，修正矩阵可被分解为更低秩形式。实验结果表明，Aplaud在用户间实现了高效且可扩展的个性化，同时在泛化能力和推理效率上均优于现有的基于LoRA的个性化LLM方法。