论文

SLA2:具有可学习路由和 QAT 的稀疏线性注意力

SLA2: Sparse-Linear Attention with Learnable Routing and QAT

模型优化稀疏化

摘要

稀疏线性注意力(SLA)结合了稀疏和线性注意力来加速扩散模型,并在视频生成中表现出了强大的性能。然而,(i) SLA 依赖于启发式分割,该分割根据注意力权重大小将计算分配给稀疏或线性分支,这可能不是最优的。此外,(ii) 在正式分析 SLA 中的注意力误差后,我们发现 SLA 与直接分解为稀疏和线性注意力之间存在不匹配。我们提出SLA2,它引入了(I)一个可学习的路由器,动态选择每个注意力计算是否应该使用稀疏或线性注意力,(II)一种更忠实和直接的稀疏线性注意力公式,使用可学习的比率来组合稀疏和线性注意力分支,以及(III)稀疏+低位注意力设计,其中通过量化感知的微调引入低位注意力以减少量化误差。实验表明,在视频扩散模型上,SLA2 可以实现 97% 的注意力稀疏性,并在保持生成质量的同时提供 18.6 倍的注意力加速。