WUSH-KV：具有数据自适应变换的 KV 缓存量化

KV 缓存内存和带宽成本随着上下文长度和批量大小的增加而增加，这限制了高效的长上下文推理。为了解决这个瓶颈，我们引入了 WUSH-KV 来进行低位 KV 缓存量化。它采用 WUSH，根据矩阵乘积中两个因子的二阶统计数据构建数据感知变换，以减少量化误差。 WUSH-KV 使用校准数据构建单独的键和值变换，其中值变换合并到模型权重中，并在 RoPE 之后应用键变换。变换可以与限幅量化器配对。对于这样的量化器 QuEST INT，我们表明，在温和的假设下，WUSH 变换接近最优。借助该量化器，WUSH-KV 减少了分层重建误差，并在其他测试的变换中实现了最低的端到端困惑度。对于端到端评估，我们使用 OSCAR 风格的百分位裁剪仿射量化将 WUSH-KV 集成到 SGLang 中。在 2 位时，WUSH-KV 在所有评估的模型和下游任务中的性能与 OSCAR 变换相当或优于 OSCAR 变换。