STAR-KV：通过软阈值进行低秩 KV 缓存压缩以实现自适应秩控制

低秩投影已经成为一种通过利用隐藏维度冗余来压缩 KV 缓存的有前途的方法。然而，现有方法依赖于固定或启发式秩选择，并且难以以最小的精度下降实现积极的压缩。我们提出了 STAR-KV，一种具有细粒度秩控制的自适应低秩 KV 缓存压缩框架。 STAR-KV 包含 1) 一种可微阈值机制，可在注意力头和块级别实现最佳秩选择；2) 一种混合分解策略，根据键和值投影的敏感性应用不同的低秩分解；3) 一种低秩感知混合精度量化，利用数据统计来实现近乎无损的低位量化。经过多个 LLM 和基准测试的评估，STAR-KV 在与量化相结合时可实现高达 75% 的 KV 缓存压缩以及高达 20 倍的整体 KV 缓存减少。在基于 Triton 的定制 GPU 内核的支持下，STAR-KV 为注意力模块提供高达 6.9 倍的加速和 3.1 倍的端到端生成吞吐量。我们的代码公开于：https://github.com/PriyanshBhatnagar/STAR-KV。