Transformer 作为基于分数的变分流的欧拉离散化

尽管 Transformer 在机器学习领域占据主导地位，但其架构在很大程度上仍然是启发式的，并且缺乏统一的理论基础。我们引入了基于分数的变分流（SVFlow），这是一种用于表示学习的连续时间动态系统，其中状态根据条件对数似然分数的变分后验加权平均值演化，并通过变分一致性为正则化提供了原则基础。我们证明球形 SVFlow 的前向欧拉离散化完全恢复了 Transformer 架构。多头注意力通过 vMF 核平滑后验来近似 SVFlow 向量场，而 MoE/FFN 以基于松弛网络的方式近似它，并且残差归一化块实现了保持球形几何形状的松弛回缩。这种统一解释了为什么注意力训练无需明确的正则化即可稳定，而 MoE 需要辅助平衡损失。对带有前缀改组的预训练语言模型的实验表明，SVFlow 引发的指标与任务性能相关，揭示了深度依赖的敏感性，并反映了注意力的内在动态。