论文

风格 + 角色插件 = 定制 LLM

Styles + Persona-plug = Customized LLMs

模型训练参数高效训练

摘要

我们发现个性化文本生成中一个以前被忽视的挑战:个性化方法越来越多地在明确的风格指令下应用,但在这种约束下它们的行为仍然知之甚少。为了平衡隐式个性化和显式风格,我们将个性化表述为分布残差,并提出 PsPLUG,一种轻量级软提示插件,通过风格条件偏好对比进行训练。在 LaMP 基准测试中,我们的框架改进了角色对齐,保持风格保真度,并以最少的计算优于基于检索和软提示的基线。这些结果表明,残差建模为可控、风格感知的 LLM 个性化提供了简单而有原则的基础。

隐式个性化与显式风格冲突吗?PsPLUG:在定制LLM中平衡个性化与风格的轻量插件 配图
图 1:PsPLUG 是一个轻量级插件框架,它向冻结的 LLM 中注入可学习的用户专属前缀,以实现可控的个性化。火焰图标表示可训练的模型,雪花图标表示冻结的模型。