LiftQuant：通过维度提升和投影实现连续位宽 LLM

现有的量化方法从根本上受到严格的、基于整数的位宽（例如 2、3 位）的限制，导致 大语言模型 无法最佳地适应特定内存预算的“部署差距”。为了弥补这一差距，我们引入了 LiftQuant，这是一种新颖的框架，可以实现真正的帕累托最优部署的连续位宽控制。核心创新是“提升然后项目”机制，该机制近似于通过从高维“提升”空间投影简单的 1 位晶格来生成低维权重向量。至关重要的是，有效位宽仅由提升维度与原始维度的比率决定，这使得位宽可以准连续调整，因为维度是灵活的结构参数。这种投影生成结构化但非均匀的码本，捕获矢量量化 (VQ) 的表达能力。虽然比 VQ 更有利，但 LiftQuant 的解码路径仅依赖于线性变换和 1 位均匀量化器，保留了硬件友好的特性：LiftQuant 使 70B LLM 能够被压缩到 2.4 位，以精确适应 24GB GPU，其性能显着超过安装在同一设备上的最先进的 2 位模型。