论文
作为对称破缺的 Rank-1 双线性注意力的门控 MLP
Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention
摘要
我们证明，传统的门控 MLP 可以被视为双线性注意力机制的 1 阶近似，其中两个不同的因素对应于查询和键。我们进一步表明，将非线性转移到一个因子上会破坏两个因子之间的交换对称性，对于非齐次激活，也会破坏逆标度对称性。这个观点可能有助于解释为什么门控 MLP 在实践中有效，并为未来架构的设计提供信息。
Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention
我们证明，传统的门控 MLP 可以被视为双线性注意力机制的 1 阶近似，其中两个不同的因素对应于查询和键。我们进一步表明，将非线性转移到一个因子上会破坏两个因子之间的交换对称性，对于非齐次激活，也会破坏逆标度对称性。这个观点可能有助于解释为什么门控 MLP 在实践中有效，并为未来架构的设计提供信息。