复值相位相干 Transformer

复值 Transformer 在很大程度上继承了实值架构的 softmax 注意力。然而，行归一化词元竞争不一定与保持相位计算一致。在本文中，我们介绍了相位相干 Transformer (PCT)，它将实值、元素无关、平滑门应用于 L2 归一化复杂查询键相似性。 PCT 用词元非竞争性注意力取代词元竞争，旨在跨层保留阶段信息。在涵盖远程记忆、分层远程推理、位置检索、基于相位的记忆和叠加以及图像分类的中型基准测试中，PCT 显示出跨任务类别的强大泛化能力。在参数公平比较下，PCT 始终优于标准 softmax Transformer 及其直接复值对应项。此外，即使在传统上被认为对复杂值神经网络来说困难的任务（例如 NIAH 和 LRA-Text）上，PCT 仍然与 Multiscreen（我们比较中最强的实值 NN 基线）竞争。引入故意违反 PCT 条件的门的实验表明，该设计并非偶然：保留负对齐相位分量的平滑门仍然很强大，而删除此类分量的门在远程检索时会崩溃，而输出变得过大的门会遭受明显的性能下降。 PCT 还显示，在测试的深度范围内，没有与深度相关的精度崩溃。这些结果支持将多层相位相干结构引入关注，作为实现复值 Transformer 泛化的有前途的设计原理。