分布对齐作为情境学习中任务向量设计的标准

上下文学习 (ICL) 允许 大语言模型 (LLM) 通过演示来适应新任务，但随着上下文长度的增加，它的推理成本也会不断增加。虽然任务向量通过将演示压缩为紧凑的隐藏状态表示提供了一种有前途的替代方案，但它们的质量只能通过下游任务的准确性来评估。这种间接标准对如何设计更有效的任务向量提取方法提供了有限的见解。在本文中，我们假设使用任务向量的推理应将其预测分布与 ICL 的预测分布保持一致。为了量化这一点，我们引入了 $d_{\text{NTP}}$，该指标用于衡量基于任务向量的推理和基于 ICL 的推理之间的下一个标记概率的差异。我们的实证分析表明，$d_{\text{NTP}}$ 作为性能代理，与下游准确性表现出很强的负相关性。受此启发，我们开发了线性任务向量（LTV），这是一种旨在通过闭式线性映射最小化 $d_{\text{NTP}}$ 的方法，通过回归估计示范效果。在 8 个分类基准和 5 个 LLM 中，LTV 始终优于现有任务向量基准，将平均准确度提高 9.2%，同时减少推理延迟。我们进一步表明，LTV 在回归任务上优于基线。此外，我们还研究了 LTV 在不同模型尺度上的可转移性；任务向量研究中仍处于萌芽状态的一个方面。具体来说，我们凭经验表明，来自较大模型的任务向量可以将较小模型的性能提高 6.4%，这表明提取任务表示的新效用。