用于语言模型个性化的谨慎上下文引导

摘要

个性化语言模型（LMs）以个体用户偏好为目标，对于将响应与多样目标和背景相匹配至关重要。现有方法通常为每个用户单独训练适配器或学习依赖于用户的奖励模型。尽管这些方法试图优化每个用户，但它们必须从有限的观察中学习，并因此遭受数据稀疏性和泛化到未见用户和领域的不良性能。在-内学习（ICL）和上下文引导（CoS）可以提供更有效的个性化，因为基础LM直接条件于用户上下文，而无需单独训练每个用户。然而，这些方法没有适配影响该上下文在整个解码步骤中的作用：ICL未控制其影响，而CoS则应用固定的引导系数，并要求每步两次LM的前向传递。我们提出Cautious Context Steering（CCS），在冻结的基础LM上添加轻量级适配器来决定每个词元是否以及多强地用户上下文应影响生成。适配器从一个oracle条件上下文-导向的LM中学习这种行为，并在用户上下文不帮助时保留基础LM。仅在一个数据集上训练的单个CCS适配器在域内和四个跨域个性化基准测试中改善了生成质量，展示了对新用户的良好泛化性能。此外，CCS避免了单独的用户微调以及CoS所需的额外条件-导向前向传递，显著降低了推理成本。

用于语言模型个性化的谨慎上下文引导：论文配图 — 图 3：词元级预言机转向系数。对于单个提示和选定的响应，我们计算预言机引导系数 λt⋆\lambda_{t}^{\star}，该系数最大化每个解码步骤的参考令牌对数概率。绿色标记更喜欢正的 λ\lambda 值，这意味着更强的上下文影响会提高标记概率；红色标记更喜欢负 λ\lambda 值，这意味着减少上下文效应更好；未突出显示的标记表明转向没有带来任何好处。一个响应中的混合模式表明，个性化的有用数量和方向因令牌而异，从而激发了令牌明智的自适应转向，而不是具有固定系数的始终在线转向。