LowRAM：以低秩键和可预测值压缩KV缓存

自回归解码依赖KV缓存，其内存占用随上下文长度线性增长，限制批量大小及吞吐量。现有后训练方法利用词元、层和特征维度的冗余，或降低数值精度。我们发现另一个互补维度：在每个注意力头中，值大体可以由对应的键预测。我们通过值缓存摊销利用这一点，在测试时拟合逐头轻量预测器，只为最难重构的词元保留残差，实现4倍近无损的值压缩。预测器可以由元学习初始化，显著降低预填充开销；在多查询推理等允许一次性成本的场景，也可以从头拟合。将值摊销与跨层低秩键压缩组合，得到LowRAM这一非对称压缩流水线，在三个模型家族中保持接近无损。每个解码步骤只重构选定KV对子集，可将解码开销保持较低，并在4倍压缩下实现最高5倍的峰值解码吞吐量。LowRAM还可与量化和淘汰组合，在长上下文上以保留94.5%基线性能的代价实现26.9倍压缩。这表明，按结构区别处理键和值，可以实现高效、较大幅度且可组合的KV缓存压缩。