TurboAngle：通过均匀角度量化实现近乎无损的 KV 缓存压缩

我们通过量化 Fast Walsh-Hadamard 域中的角度来压缩 KV 缓存条目，其中随机对角线旋转使连续元素对近似均匀分布在单位圆上。我们通过每层早期增强来扩展这个角度量化器，它独立地配置每层的 K 和 V 码本大小，为关键层的特定于模型的子集分配更高的精度。在七个模型（1B 到 7B 参数）中，每层早期增强在四个模型上实现了无损压缩，在七个模型中的六个上实现了近乎无损的质量，每个元素的角度位为 3.28 到 3.67。非对称范数量化（键为 8 位，值为 4 位对数空间）在 Mistral-7B 上每个元素总共产生 6.56 位，困惑度下降为 +0.0014，并且没有校准数据。层组敏感性分析揭示了模型特定的瓶颈模式，包括 K 主导层与 V 主导层以及负传输层（其中精度提高会降低质量）。