函数向量头是两个群体：情境学习中的写入者和取消者

上下文学习让语言模型执行提示中的示例指定的任务。函数向量捕获由注意力头输出组装的紧凑激活中的任务信息。在两个规则族和三个 Pythia 模型中，我们在候选函数向量头中发现了两个相反的函数群。作者支持规则正确的答案，而取消者系统地压制它。这些角色预测对立群体对保留提示的影响，其中删除取消项在所有六种设置中将准确性提高 2.4 至 6.8 个百分点。主要的抑制贡献取决于任务内容，相同的组件可以支持另一个任务中的正确预测。在人口层面，大量的支持和压制几乎可以抵消。将这些角色分开解释了与任务相关的计算如何与正确的预测相悖，以及小的总体效应如何隐藏强大的相反贡献。