SSR：为三元 GEMM 设计稀疏分段归约

大语言模型 (LLM) 需要大量计算资源，限制了它们在资源受限的硬件上的部署。三元 LLM 通过三元值进行权重量化来缓解这些需求，通常以 50-90% 的稀疏度实现显着压缩。然而，现有的方法存在局限性：针对三元权重优化的方法，例如BitNet、冗余段缩减（RSR）及其改进版本RSR++，没有利用稀疏结构，而传统的稀疏格式忽略了三元特征，放弃了双重优化机会。在本文中，我们介绍了稀疏段缩减（SSR），这是一种三元矩阵乘法方法，旨在加速三元 LLM 和通用三元权重网络（TWN）的推理。 SSR 具有专用的优化三元数据格式和算法，可通过随稀疏度扩展的计算树系统地利用稀疏模式。对于稀疏度超过 50% 的情况，SSR 提供​​了比 RSR++ 渐进更快的推理速度，而实际评估则揭示了所有稀疏度级别的性能改进。评估结果表明，SSR 在稀疏度为 45-95% 的三元 GEMM 上比 RSR++ 实现了 2.1-11.3 倍的加速。此外，在 Llama-3 1B 模型推理上，SSR 比 RSR++ 实现了 3.5-6.3 倍的端到端加速和记忆的 4.9% 的节省。