量化密钥吸引注意力：视频扩散中 KV 缓存压缩的偏差校正

块式自回归视频扩散模型依赖于先前生成的块的 KV 缓存来避免冗余计算，但随着视频变长，该缓存很快就会成为内存瓶颈。将 KV 缓存量化为低位宽的方法可以减少内存压力，但会降低视频质量。我们表明，这种退化的关键驱动因素是注意力权重的系统偏差：由于 softmax 注意力指数的凸性，量化噪声会夸大缓存键的贡献，我们将这种现象称为 Jensen 偏差。这种效应会导致量化的键从未量化的当前块中窃取注意力。我们推导了每个注意力分数的校正，消除了这种期望偏差，这是根据缓存键的量化步长和查询范数动态计算的。使用二阶泰勒近似，额外的计算开销可以忽略不计，并且除了缓存之外不需要额外的内存。在 INT2 量化的 MAGI-1、SkyReels-V2 和 HY-WorldPlay 上进行评估，我们的校正恢复了因激进量化而损失的大部分质量，达到接近 BF16 的视频质量，并且可以超越 INT4 量化，同时使用更少的内存 50%。