论文

KV缓存压缩的消融、统计推断与验证

Ablation, Statistical Inference, and Validation for KV-Cache Compression

模型推理KV Cache

摘要

本研究系统比较Turbo-Quant与SpectralQuant的KV缓存压缩,并评估包括WHT旋转结合Beta Lloyd-Max和QJL在内的非支配方案。统计验证方法用于区分压缩编解码器的系统性差异与实现方差。结果显示,基于特征基的方法在重尾数据上因协方差不稳定而失效,却在结构化数据情形中表现较好;有效语义维度d_eff随校准预算调整,并不等同于数据的真实秩。