Transformer 的 Hölder 类的近似误差上限和下限

我们通过为 Hölder 类建立精确的近似误差上限和下限来探索 Transformer 的表达能力。具体来说，为配备 Softmax 算子、ReLU 激活函数和残差连接的标准 Transformer 架构导出了新的近似上限。我们证明，最多由 $\mathcal{O}(\varepsilon^{-{d_{0}}/α})$ 块组成的 Transformer 网络可以在任何精度 $\varepsilon>0$ 下逼近任何具有 $d_{0}$ 维输入和平滑度 $α\in(0,1]$ 的有界 Hölder 函数。在逼近下界的情况下，利用 VC 维上限，我们是第一个严格证明 Transformer 至少需要 $Ω(\varepsilon^{-{d_{0}}/({4α})})$ 块才能达到 $\varepsilon$ 近似精度的人。最后一步，我们将标准 Transformer 的导出结果扩展到一般回归任务，并建立相应的超额风险率，证明 Transformer 在以下方面的经验有效性。现实世界的设置。