任务向量按任务识别与学习成分分解后实现可控干预

任务向量（TV）提供了一种紧凑的方式来引导大型语言模型，但它们通常被视为仅从隐藏状态中提取的原子化方向，而对其内部功能结构的了解却很少。受先前将上下文学习分解为任务识别（TR）和任务学习（TL）的工作的启发，我们询问单个任务向量是否也可以同样分解为具有功能意义的组件。我们从候选标签的反嵌入（unembedding）向量中制定基于 TR/TL 的分解，将每个 TV 分为 TR、TL 和残差分量，并尝试使用贝叶斯优化来优化 TR 和 TL 系数，以实现更有效的干预。我们在多个模型家族、分类任务以及基于指令和基于示例的任务向量上评估该分解方法。在这些设置中，基于 TR/TL 的优化确定了优于原始任务向量的干预方向。尽管随机方向上的优化也可以提高性能，但基于 TR/TL 的搜索会产生更可靠的增益，特别是对于基于指令的任务向量。此外，对分解成分的孤立干预会产生独特的logit 层面的效应，与其预期的功能作用一致。总之，这些结果表明任务向量并非不可分的引导方向，而是可以分解为支持解释和控制的功能上有意义的组件。