压缩并忘记：位和字节量化放大 LLM 中的主动干扰

主动干扰 (PI) 是 大语言模型 中记录的故障模式，其中重复覆盖值的检索会随着先前覆盖的累积而降低，这反映了人类工作记忆中的经典现象。 后训练 量化（PTQ）现在是开放权重模型的默认部署路径，但其对此故障模式的影响尚未经过测试。我们评估了三个架构不同的指令调整模型（Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3、Phi-3.5-mini-instruct）的三个精度级别（FP16、INT8、INT4/NF4，通过位和字节），固定检索任务。 INT4 量化在每个模型的高干扰下都会显着降低准确性（例如，Qwen 从 81.0% 降至 68.3%），这一点已通过配对 McNemar 测试 ($p \le 2.6 \times 10^{-6}$) 和涵盖所有干扰水平的混合效应回归得到证实； INT8 通常被认为是安全的，但在三个模型中的两个模型中也带来了较小但真正的惩罚。该效应特定于语义相似（单词类型）的干扰项和数字控制条件下的反转符号，并且在机械上与 INT4 下同键入侵错误的增加相关（从试验的 21.5% 到 24.6%，$p = 4.8 \times 10^{-7}$）。后续的消融显示效果源自量化的 Transformer 主干，而不是输出投影层。这些结果表明，bitsandbytes 4 位量化可能会给依赖长、可更新、语义密集上下文的应用程序带来额外的成本，即使总体基准精度似乎基本上不受影响。我们在 https://github.com/ShayanShahrabi/compress-and-forget 发布了我们的代码和经过分词器验证的词汇构建方法