论文
大语言模型 中可扩展个性化的综合交互数据
Synthetic Interaction Data for Scalable Personalization in Large Language Models
摘要
个性化提示为不同用户部署大语言模型(LLM)提供了巨大的机会,但现有的提示优化方法主要集中在任务级优化,而很大程度上忽视了用户特定的偏好和个人用户的潜在约束。这一差距主要是由于(i)缺乏大规模捕获个性化用户与 LLM 交互的高质量、隐私敏感数据,以及(ii)缺乏针对个人偏好的强大奖励信号。为了克服现有的数据限制,我们引入了一种名为 PersonaGym 的高保真合成数据生成框架。与之前将个性化视为静态角色偏好对的工作不同,PersonaGym 通过代理 LLM 系统对动态偏好过程进行建模,以模拟现实的偏好行为和语义感知噪声,从而生成个性化的多轮交互轨迹。使用 PersonaGym,我们发布了 PersonaAtlas,这是一个大规模、高质量和多样化的高保真多轮个性化交互轨迹合成数据集,密切反映了现实世界的偏好表达和噪声模式。我们进一步提出个性化提示优化(PPOpt),这是一个可扩展且与模型无关的框架,可根据交互历史优化用户提示,而无需修改已部署的 LLM。 PPOpt 采用先推理再优化的范例,该范例推断出显式的用户配置文件,并在用户配置文件上进行条件提示重写,以避免 奖励作弊。我们的 PPOpt 训练程序将冷启动监督先验与结果驱动的多目标强化学习相结合。我们进行了广泛的实验,以证明在任务性能、个性化质量以及对噪声和稀疏偏好信号的鲁棒性方面相对于最先进的基线的持续改进。