KV 缓存压缩的注意力加权值投影

降级会丢弃维度；量化使它们保持较低的精度。比较两者需要选择压缩应保留的内容。对于注意力值，我们研究注意力输出的重建，而不是单独重建值。在注意力权重固定的情况下，最优正交rank-$r$投影使用$V^\topα^\topαV$的前导特征向量，其误差恰好是丢弃的特征值和。我们将此目标扩展到校准数据集和分组查询注意力，并描述附加局部误差预算下的秩分配。我们还研究了使用局部误差来预测下游损失的局限性。历史权重扰动实验倾向于对测试的值投影进行系数舍入，但没有在相等的缓存存储上建立比较。由此产生的区别是实用的：投影目标具有精确的解决方案，而与缓存量化的比较需要单独的激活级别实验。