论文
iS-KV:块增量SVD的在线低秩KV压缩
iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD
摘要
长思维链推理大幅增加自回归解码中的KV缓存内存——每个生成token引入新的键值状态使缓存随解码长度线性增长。现有KV压缩方法通常以token驱逐控制增长,但不可逆删除可能移除后续推理需要回访的历史状态。SVD低秩压缩以更紧凑表示保留全部位置,是替代方案;但把它从固定提示缓存扩展到在线解码并不平凡。通过研究我们发现:若为新token更新基而旧token保留旧基坐标,存储的历史会大幅漂移。基于此我们提出面向长程推理的在线低秩KV压缩iS-KV:保持近期窗口精确,同时把更旧状态增量折叠进有界秩表示;随低秩基演化,同步历史坐标到更新后的基以维持表示一致性。DeepSeek-R1-Distill-Llama-8B上,iS-KV在4.06倍持久KV压缩下达到82.6%准确率(原模型83.6%);Qwen3-8B在5.64倍压缩下89.2%。匹配内存预算下,iS-KV持续优于token驱逐基线。