Transformer ReLU 近似值

我们提供了将 ReLU 近似结果转化为 softmax 注意力机制的系统方法。这个秘籍涵盖了许多常见的近似目标。重要的是，它产生了超出通用近似陈述的特定目标的经济资源界限。我们展示了乘法、倒数计算和最小/最大原语的秘诀。这些结果为分析 softmax Transformer 模型提供了新的分析工具。