论文
SSDi8：面向状态空间对偶的精确高效8比特量化
SSDi8: Accurate and Efficient 8-bit Quantization for State Space Duality
摘要
序列建模的最新进展凸显了Mamba作为一种状态空间架构，它提供高效的长程依赖建模，是Transformer的可行替代。在此基础上，Mamba-2引入了结构化状态空间对偶（SSD），它整合循环与注意力两种模式以实现效率与可扩展性。然而，这一架构扩展显著增加了内存与延迟开销，凸显了对专为SSD定制的高效压缩策略的需求。在这项工作中，我们提出SSDi8，首个专为SSD设计、维持持久INT8路径的训练后量化框架。SSDi8引入一种重构，将逐元素乘法与矩阵乘法解耦，使量化激活可跨模块复用。此外，SSDi8在代价合宜的位置自适应地量化随通道变化的激活，进一步降低延迟。在精度方面，SSDi8显式利用SSD固有的维度分解，利用各轴上不同的离群值分布，并纳入一个基于逐通道误差统计的误差修正项。全面的实验表明，SSDi8取得与FP16相当的精度，同时在W4A8和W8A8设置中提供最高1.4倍加速。我们进一步通过在Orin NX设备上部署，验证了其在资源受限环境中的鲁棒性。
