论文

通过设定条件多样性实现最小干预 KV 保留

Minimal-Intervention KV Retention via Set-Conditioned Diversity

模型推理KV Cache

摘要

小预算下的 KV 缓存压缩是一个拥挤的设计空间,涵盖缓存表示、磁头路由、压缩节奏、解码行为和预算内评分。我们使用两个蒸馏推理模型(DeepSeek-R1-Distill~\cite{deepseek2025r1} 的 Qwen-7B 和 Llama-8B 变体)在长形式数学推理(MATH-500~\cite{hendrycks2021math})的匹配均值缓存下研究了这五个家族的七种机制,预算为 $b \in \{64, 128\}$。七人全部被拒绝。然后,我们提出 $α$,这是对 TriAttention~\cite{mao2026triattention} 保留评分器的单功能修改,在由单个权重 $λ$ 控制的 V 空间冗余惩罚下,用贪婪的设施位置启发选择替换 argmax-top-$k$。预先注册的协议在冻结的开发分裂上调整$λ$,并在不相交的保留分裂上进行确认; $λ= 0.5$,$α$ 在四个(模型、预算)单元中的两个(Qwen $b{=}128$ 和 Llama $b{=}64$)上清除 Bonferroni,没有单元显着为负,并且预注册的 Branch~A 触发器。这一发现是不对称的:在这种情况下,最小的评分修改击败了更重的结构重新设计,并且组合的匹配记忆、对称分级、保留确认协议是使不对称性可见的证据标准。