GSRQ：亚 1 位 KV 缓存的增益形状残余量化

具有扩展上下文窗口的 大语言模型 (LLM) 的部署越来越受到键值 (KV) 高速缓存线性增长的限制。矢量量化 (VQ)，特别是残差量化 (RQ)，是一种很有前途的方法，通过使用小码本逐步编码残差，将 KV 缓存存储推向亚 1 位机制。然而，大多数 VQ 方法仍然依赖标准 $\ell_2$ $K$-means 作为核心码本学习原语。我们发现了这个基元的一个微妙的高维问题：欧几里得质心平均可以引起质心收缩，这削弱了 $\ell_2$ 畸变中的角度对齐项，并使方向保持更加困难。为了解决这个问题，我们提出了 Gain-Shape $K$-means (GSKM)，它是 $K$-means 的直接替代品，可以在匹配时提高方向保真度，并在某些情况下改善 $\ell_2$ 失真。然后，我们通过将 GSKM 的加权扩展合并到 RQ 管道中来构建增益形状残差量化 (GSRQ)。在 LLaMA-3-8B 上，GSRQ 在跨比特率方面比强 KV 缓存量化基线有了显着改进。在 1 位时，它将 LongBench 任务的平均准确度从 11.34 提高到 33.54，比 VQLLM 提高了 22.20 个百分点。