Transformer 的集成电光注意非线性

Transformer 已成为占主导地位的神经网络架构，在语言处理和计算机视觉方面实现了最先进的性能。这些模型的核心是注意力机制，它需要使用 Softmax 函数进行非线性、非负映射。然而，尽管 Softmax 操作占总操作数的不到 1%，但它们可能会严重阻碍整体推理延迟。在这里，我们使用薄膜铌酸锂 (TFLN) 马赫-曾德尔调制器 (MZM) 作为模拟非线性计算元件，以大幅减少非线性计算的延迟。我们实现了数字 Softmax 和 Sigmoid 的电光替代方案，并评估了它们在 Vision Transformer 和 大语言模型 中的性能。即使在模拟单元的激进 4 位输入输出量化下，我们的系统也能保持极具竞争力的精度。我们进一步表征编码速度高达 10 GBaud 的系统噪声，并评估各种噪声条件下的模型鲁棒性。我们的研究结果表明，TFLN 调制器可以充当混合共同封装硬件中的非线性功能单元，从而实现高速且节能的非线性计算。