论文
STEPQuant：误差在 Delta 规则循环状态量化中何时何地产生影响
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
摘要
线性注意力用固定大小的循环状态取代了不断增长的 KV 缓存，但这些持久状态可能成为并发服务下的重大内存瓶颈。直接将循环状态量化为低精度通常会导致严重的精度下降，因为量化误差会通过连续的状态更新传播。我们发现这些错误的影响取决于两个互补的维度：在时间上，长期记忆中的错误可能会在许多解码步骤中持续存在；在时间上，长期记忆中的错误可能会在许多解码步骤中持续存在。在空间上，不同关键行中的错误对模型输出的影响不同，而状态大小沿行和列的变化很大。受这些观察的启发，我们提出了 STEPQuant，一种用于 Delta 规则循环状态的时空训练后量化框架。 STEPQuant 根据误差大小和内存寿命分配精度，并根据状态分布和关键行对输出误差的影响联合拟合关键行和值列尺度。在 Qwen3.8-27B 和 Kimi-Linear-48B-A3B-Instruct 上进行的长代和短代基准测试表明，STEPQuant 在标称 6 位预算下与 FP32 状态精度非常匹配，并且在 4 位配置中优于统一 INT8。 6 位 STEPQuant 集成到具有优化 GPU 内核的 SGLang 中，可实现超过 5 倍的循环状态压缩，并将总服务内存减少高达 68.7%。我们的代码可在 https://github.com/Dreamer-Toby/STEPQuant. 获取