DynamicPTQ：通过残余流动力学减轻激活量化崩溃

后训练 量化 (PTQ) 对于高效的 大语言模型 推理至关重要，但当权重、激活和 KV 缓存全部量化为 4 位精度时，可靠地量化激活仍然具有挑战性。一个关键的困难在于大规模激活，其极值主导激活范围并放大量化误差。最先进的方法主要通过基于变换的平滑（例如正交旋转和仿射缩放）来减轻大量激活，但忽略了残差流的跨层动态。在本文中，我们证明了大规模激活在网络深度上以分阶段模式出现和消失，从而引发了巨大的残余变化。这些变化导致新注入的逐层更新主导 4 位量化尺度并削弱历史残差信息。为了描述这种行为，我们引入了跳跃率和历史特征信噪比。这表明基于静态变换的平滑不能完全解决跨层残差变化引起的动态量化不稳定。基于此分析，我们提出了 DynamicPTQ，一种用于相位感知混合精度激活量化的动态 后训练 量化策略。 DynamicPTQ 从残差流动态中识别量化敏感层，并仅向这些层分配 8 位激活精度，同时将权重、KV 缓存和其他激活保持在 4 位精度。它可以直接与强大的 PTQ 基线集成，例如 QuaRot、SpinQuant 和 FlatQuant。 LLaMA-2 和 LLaMA-3 上的实验表明，DynamicPTQ 在 W4A4KV4 量化下持续改进了困惑度和零样本 QA 性能，同时以适度的内存开销实现了 1.05 至 1.07 倍的吞吐量改进。这些结果展示了实现稳健低位 LLM 推理的实用路径。