论文
GoQuant：用于无乘法器二次幂 Transformer 量化的几何正交残差投影
GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization
摘要
大语言模型 (LLM) 和 Vision Transformer (ViTs) 在边缘设备上的部署受到内存容量和密集乘法累加 (MAC) 阵列引入的关键时序瓶颈的严重限制。在超低位体制中，对数二次方 (PoT) 量化通过用移位运算替换占主导地位的点积计算中的一般乘法，提供了一种硬件高效的替代方案。然而，其非均匀指数晶格本质上受到 \textbf{低角分辨率机制} 的影响，这是一种结构限制，在低于 4 位精度时变得特别明显，并且会大大降低高维特征流形的表示。为了解决这个几何限制，我们提出了几何正交残差投影量化（GoQuant），这是一种用于乘数减少低位推理的算法-硬件协同设计框架。通过将量化公式化为双基几何投影，GoQuant 构造了更高分辨率的残差晶格，同时保留了移位加内积结构。其分析求解器进一步避免了基于梯度的计算密集型或迭代搜索过程。无数据的几何仅 (GEO) 模式仅在 0.47 分钟内量化 LLaMA-2-7B，而激活精炼 (REF) 模式在大约 \textbf{4.4 分钟}内完成全模型量化。