次高斯分布下测度到测度 Transformer 的稳定性分析

Transformer在各个领域都取得了令人印象深刻的经验成功，但其理论基础仍然不够发达。这项工作构成了对变压器定义的测量到测量运算符的数学研究。我们展示了变压器将亚高斯输入映射到亚高斯输出；这确保了 softmax 算子的任意长度组合是明确定义的。然后我们证明变压器在亚高斯输入的适当空间上相对于 1-Wasserstein 距离是 Hölder 连续的。这使我们能够对亚高斯输入与其经验近似值之间沿变压器的误差传播进行估计。我们还研究了交叉注意机制的平均场模拟，它是从一对概率度量到单个概率度量的算子。我们证明交叉注意力在其两个输入参数中表现出不同的 Hölder 规律和样本复杂性。最后，我们应用我们的结果来推导测量到测量变压器的近似保证。总之，这些结果为亚高斯数据上的变压器提供了牢固的稳定性和有限样本理论。