QUEST：使用查询调制球形注意力的稳健注意力公式

Transformer模型架构已成为深度学习中应用最广泛的模型架构之一，注意力机制是其核心。标准注意力公式使用应用于查询向量和键向量之间的缩放点积的 softmax 运算。我们探讨了查询和键规范所扮演的角色，当它们任意增加时可能会导致训练不稳定。我们演示了即使在简单的 Transformer 模型中，在数据中存在易于学习的虚假模式的情况下，这种情况也是如何发生的。我们提出了一种新的注意力公式，即查询调制球形注意力（QUEST），它将密钥限制在超球形潜在空间中，同时仍然允许单个词元灵活地控制注意力分布的锐度。 QUEST 可以轻松用作标准注意力的直接替代品。我们专注于视觉应用，同时也探索其他领域以突出该方法的通用性。我们表明，(1) QUEST 训练没有不稳定性，(2) 生成的模型具有改进的性能 (3) 对数据损坏和对抗性攻击具有鲁棒性。