上下文流图中的混沌传播

我们通过采用上下文流图（CFM）的抽象，在大上下文环境中开发了 Transformer 的定量统计理论：在跨注意力块堆栈的上下文度量存在的情况下演化出独特标记的动态系统。在此框架内，有限上下文模型近似于理想化的无限上下文系统，其中上下文度量被其基础群体所取代，从而上下文长度$n$成为统计资源。利用动力学的 McKean-Vlasov 结构和混沌传播的经典机制，我们建立了一个前向边界，控制有限上下文和无限上下文 CFM 之间沿深度的偏差，以及一个后向边界，在在线梯度下降迭代中均匀控制相应训练轨迹之间的偏差。对于一般 CFM，这两个界限都实现了最佳 Wasserstein 速率 $n^{-1/d}$，对于包括 Transformer 作为特殊情况的受限类别 CFM，参数速率 $n^{-1/2}$。该分析基于损失梯度的新欧拉伴随公式和所得前向伴随系统的稳定性估计，两者都可能具有独立的意义。