论文
少样本示例如何加起来：上下文学习中函数向量的因果分解
How Few-Shot Examples Add Up: A Causal Decomposition of Function Vectors in In-Context Learning
摘要
上下文学习 (ICL) 擅长从最少的示例中完成新任务，但我们仍然缺乏对少样本提示如何塑造模型的函数向量 (FV) 的机制解释，即驱动 ICL 查询上的任务行为的因果激活方向。在任务和模型中，$n$-shot FV 可以通过示例级子 FV 的线性组合很好地近似，这表明来自各个演示的附加和可组合贡献。除了可加性之外，我们还表明，模型会根据先前的示例将各个示例的表示置于上下文中，以自适应地重新衡量主导 FV 的演示：注意力转向在上下文中提供更多信息且不那么模糊的示例。最后，因果分解将查询键路由与值更新分开，发现上下文化对 FV 质量最一致的贡献来自于查询键对齐（特别是在不明确的设置中），而值介导的效果则更加异构。总之，这些结果将加性叠加与上下文相关的注意力重新加权统一为机械的、可测试的说明，说明少样本提示如何执行任务。