以低维子空间解释训练任务多样性对上下文学习的影响

Transformer 执行上下文学习 (ICL) 的新兴能力引发了旨在了解其基本机制的广泛研究。现有的工作经常研究训练任务多样性（定义为 ICL 训练任务向量的数量或从中提取任务向量的函数类的数量）如何塑造 ICL 的学习动态和泛化能力。虽然这两个定义都揭示了许多有趣的现象，但后一个定义下的许多观察结果在理论上仍然无法解释。本文提出了一个最小的分析模型，在该模型下，这些现象可以证明是从训练数据的属性中出现的。通过将训练任务向量建模为低秩高斯的混合，我们展示了训练任务多样性（由参数化协方差矩阵的子空间之间的非重叠列数定义）如何改善具有线性注意力的 ICL 的泛化和优化轨迹。特别是，我们表明我们的模型可以解释（i）为什么任务多样性训练会缩短 ICL 平台期以及（ii）为什么 ICL 似乎实现了分布外泛化。最后，我们通过实证证明我们的结果如何扩展到非线性 Transformer 和非线性函数类。总的来说，我们的工作提出了一个易于处理的框架来统一现有的观察结果。