普通最小二乘法是 Transformer 的特例

Transformer 架构的统计本质长期以来一直难以捉摸：它是通用逼近器，还是已知计算算法的神经网络版本？通过严格的代数证明，我们表明后者更好地描述了Transformer的基本性质：普通最小二乘法（OLS）是单层线性Transformer的特例。使用经验协方差矩阵的谱分解，我们构建了一个特定的参数设置，其中注意力机制的前向传递在数学上等同于 OLS 封闭式投影。这意味着注意力可以通过一次前向传递来解决问题，而不是通过迭代。在此原型案例的基础上，我们进一步揭示了 Transformer 中解耦的慢速和快速内存机制。最后，讨论了从我们建立的线性原型到标准 Transformer 的演变。这一进展促进了 Hopfield 能量函数从线性到指数存储容量的转变，从而在现代深度架构和经典统计推断之间建立了清晰的连续性。