PoM：用多项式混合器进行注意力的线性时间替代

本文介绍了多项式混合器（PoM），这是一种具有线性复杂度的新型词元混合机制，可作为自注意力的直接替代品。 PoM 通过学习的多项式函数将输入标记聚合成紧凑的表示，每个标记从中检索上下文信息。我们证明 PoM 满足上下文映射属性，确保配备 PoM 的 Transformer 仍然是通用的序列到序列逼近器。我们在五个不同的领域用 PoM 取代了标准的自注意力：文本生成、手写文本识别、图像生成、3D 建模和地球观测。 PoM 与基于注意力的模型的性能相匹配，同时在处理长序列时大大降低了计算成本。该代码可在 https://github.com/davidpicard/pom 获取。