注意力残差中的注意力池和异常值

我们提出了 OASIS，一种异常值和接收器感知方法，通过显式空路由和词元到深度空耦合来稳定双归一化注意力残差架构。 AttnResidual 引入了一个额外的深度归一化通道，该通道提高了层间路由灵活性，但也可以放大注意力池、激活异常值和低位量化误差。 OASIS 在词元和深度级别上都建立在基于 Softmax1 的显式空路由之上，并使用 词元级 空证据来降低表现出更强空行为的深度分支的权重。理论上，我们描述了双重归一化下类似接收器的注意力集中的条件机制，提供了对 AttnResidual 中观察到的低位敏感性的深入了解。在实验中，我们将 OASIS 与三个语言模型主干和多个语言建模、推理和长上下文基准的五个基线进行比较，并观察到注意力池缓解和后量化性能方面的一致改进。值得注意的是，相对于 Vanilla AttnResidual，OASIS 在 LLaMA-3.2-1B、Qwen3-0.6B 和 Phi-4 上将最大无穷范数降低了 81.75%，将平均峰度降低了 95.90%，将 W8A8 困惑度降低了 82.00%，并将 W4A4 GSM8K Pass@1 平均提高了 42.11%。代码位于：https://github.com/robinzixuan/OASIS。