Transformer的几何容量：热带几何视角

为了量化 Transformer 的几何容量，我们开发了一个热带几何框架来分析条件自注意力引起的空间分区。在零温度限制下，我们表明固定键 top-$1$ 路由由查询空间中的功率图精确表示，而辅助对数提升值参数化产生向量值热带理性表示。对于序列长度为 $N$ 和 $H$ 注意力头的多头自注意力 (MHSA)，联合路由几何由头向牛顿多面体的 Minkowski 和编码，给出一个 $\mathcal{O}(N^H)$ 通用边界，一旦头数达到内在维度，该边界就会锐化为 $\mathcal{O}((HN)^{d_{\mathrm{model}}-1})$ $d_{\mathrm{模型}}$。将这个分析扩展到深度 $L$，我们得出了 Transformer ($θ\!\left(N^{\min\{H,d_{\mathrm{model}}-1\}L}\right)$) 中线性区域数量的第一个紧渐近界限。我们进一步表明，有限温度 softmax 保留了 top-$1$ 路由结构，并允许指数衰减的局部近似和远离路由边界的微分边界。