LLM 压缩的不对称危害

大语言模型 (LLM) 压缩可降低部署成本，但困惑度和准确性等标准聚合指标通常会掩盖潜在的行为变化。在这项工作中，我们系统地评估了 11 种压缩方法中的 3 LLM，以研究压缩对知识保留、模型置信度和社会偏见的影响。我们发现，与尾部知识相比，压缩不成比例地降低了头部知识的相对保留率。此外，压缩模型通常对新丢失的知识的错误答案仍然充满信心。最后，我们证明稳定的总体偏差分数可以掩盖不同人口亚群的刻板偏好的实质性、相反的变化。总之，这些发现揭示了聚合性能指标无法捕获的不对称行为变化，强调了在部署之前对压缩模型进行精细评估的必要性。