DeCoVec：通过上下文学习为 大语言模型 构建基于解码空间的任务向量

任务向量代表模型或激活空间中编码特定任务行为的方向，已成为指导 大语言模型 (LLM) 的有前途的工具。然而，现有方法通常需要 微调 或对内部状态的侵入式操作，限制了它们的灵活性和可扩展性。我们提出 \textsc{DeCoec} （基于解码空间的任务向量），这是一个 无需训练 和非侵入性框架，它通过利用上下文学习（ICL）直接在 \textit{解码空间} 中构建任务向量。具体来说，\textsc{DeCoVec} 将任务本质捕获为少样本提示和零样本提示的输出 logits 分布之间的差异，然后通过将该向量注入解码过程来引导生成。在 TruthfulQA、Math-500 和 AQUA-RAT 上对七个 LLM (0.5B--9B) 进行的实验表明，\textsc{DeCoVec} 始终优于标准的少样本基线，平均准确度提高高达 +5.50。进一步的分析表明， \textsc{DeCoVec} 有效地​​抑制了生成退化和逻辑缺陷，同时对演示排序表现出强大的鲁棒性，所有这些都不会产生额外的输入词元成本。我们的方法为 LLM 转向提供了 无需训练 和非侵入式解决方案，无需权重更新或辅助模型。