论文
从信号衰减到计算崩溃：揭示LLM量化的两种故障模式
From Signal Degradation to Computation Collapse: Uncovering the Two Failure Modes of LLM Quantization
摘要
后训练 量化（PTQ）对于 大语言模型（LLM）的高效部署至关重要。虽然 4 位量化被广泛认为是一种最佳权衡，但将精度降低到 2 位通常会引发灾难性的“性能悬崖”。目前尚不清楚底层机制是否存在根本不同。因此，我们进行了系统的机械分析，揭示了两种性质不同的故障模式：信号退化，计算模式保持不变，但信息精度因累积误差而受损；计算崩溃，其中关键组件无法运行，阻止正确的信息处理并破坏早期层的信号。在此诊断的指导下，我们进行了机制感知干预，证明有针对性的 无需训练 修复可以减轻信号衰减，但对计算崩溃仍然无效。我们的研究结果为 PTQ 失败提供了系统的诊断框架，并表明解决计算崩溃需要结构重建而不仅仅是补偿。