上下文坍缩：上下文学习与模型坍塌

本论文研究大语言模型（LLM）中的两个关键现象：上下文学习（ICL）与模型坍塌。我们在线性回归任务上训练的权重绑定线性Transformer中研究ICL，并证明最小化上下文损失会导致学习到的参数发生相变。超过临界上下文长度后，解会出现一个反对称分量。我们通过把权重绑定下线性Transformer的前向传播约化为预条件梯度下降，然后分析最优预条件子来证明这一点。该预条件子包含一个反对称分量，它引起梯度方向的旋转。对于模型坍塌，我们使用鞅与随机游走理论，在替换式与累积式两种数据机制下分析简化场景——线性回归与高斯拟合。我们通过证明几乎必然收敛强化了已有结果，表明除非数据增长足够快或随时间被保留，否则坍塌就会发生。最后，我们引入上下文坍缩（context collapse）的概念：长生成过程中上下文的退化，尤其在思维链推理中。这一概念将ICL的动力学与生成模型的长期稳定性挑战联系起来。