即插即用尖峰运算符：打破尖峰中的非线性瓶颈 Transformer

ANN 到 SNN 的转换提供了一条实用的 无需训练 途径来尖峰 大语言模型。然而，当前的管道主要侧重于 Transformer 线性代数运算的尖峰驱动实现，同时为关键非线性算子提供有限的支持。这种差距限制了与神经形态类型执行约束的兼容性，其中这种非线性通常需要除法、求幂或范数计算，而标准泄漏积分和激发动力学自然不支持这些计算。为了解决这个问题，我们提出了一个即插即用的框架，该框架对 Transformer 非线性实现尖峰友好的近似，并集成到现有的 ANN 到 SNN 管道中。我们的方法将这些非线性计算分解为三个重复的原语——除法、求幂和 $\ell_2$ 范数——并通过使用 LIF 神经元组的总体计算来实现它们，并结合轻量级位移缩放以避免浮点运算。通过将这些原语组合为模块化运算符块，我们的框架支持常见的 Transformer 非线性（例如 Softmax、SiLU 和归一化），而无需任何 微调。对一系列 LLM Transformer 的实验表明，有选择地替换目标非线性算子在所有评估的任务中导致的准确率下降不到 $1\%$。