高斯 Transformer 动力学的可达性和渐近性

我们通过 Transformer（为 大语言模型 提供支持的机器学习架构）制定数据传播，作为概率度量空间上的非线性控制系统。对于具有自注意力和仿射前馈层的平均场 Transformer 模型，我们证明高斯分布沿着诱导流保持精确的高斯分布。这种不变性将无限维测度动力学简化为控制均值和协方差演化的有限维双线性控制系统，将 Transformer 的表达能力重新表述为规定高斯矩的可达性问题，并揭示了与来自经典滤波和控制的 Riccati 型方程的新颖联系。对于时变控制，我们证明了任何目标高斯分布的精确有限时间可达性，其协方差矩阵与初始高斯分布具有相同的秩，该秩约束是动态的内在不变量。对于时不变参数，我们推导出明确的谱条件，导致朝向正定平衡的渐近稳定性或协方差的有限时间爆炸。数值实验补充了该理论，表明具有高斯输入的实际 Transformer 在早期和中间层仍然接近矩匹配高斯分布，而具有指定注意矩阵的 Transformer 再现了预测的协方差状态：稳定配置中的有界演化和不稳定配置中的爆炸。