大语言模型 中的句子级上下文夹带

上下文夹带是 大语言模型 (LLM) 中新发现的现象，指的是模型倾向于为出现在上下文中的标记分配更高的概率。在这项工作中，我们通过检查句子的每个标记的平均对数概率而不是单个标记的概率，将这种现象从 词元级 扩展到句子级别。我们研究了来自七个家庭和两个数据集的 26 个 LLM 的句子级上下文夹带，其中涵盖了主观和客观任务。我们发现句子级上下文夹带是存在的。这意味着提示中的句子（即使它们是反事实陈述）可以显着增加模型推理期间的概率。随着模型尺寸的增加，上下文夹带逐渐减少。我们还发现，上下文夹带由 2% 到 4% 的注意力头控制。关闭这些注意力头可以有效地减轻上下文夹带，而不会损害模型的性能。