前馈层在Transformer动力学中的作用

我们从控制理论的角度研究Transformer中词元的动态行为。我们的模型包括自注意力机制之后存在的前馈层，自注意力机制被解释为相互作用的粒子系统，前馈层被解释为独立的控制。我们的主要理论结果表明，无论键、查询和值矩阵如何，前馈网络都可以引导词元任意接近共识。我们的结果很容易扩展到许多集群的收敛和多头注意力。我们进行数值实验来验证我们的结果，并将我们的理论和现实世界的大语言模型的阈值行为进行比较。