Debias-SparseGPT：大语言模型 的偏差感知剪枝

剪枝、量化等模型压缩技术有利于大语言模型（LLM）的高效部署和加速。然而，最近的研究表明，权重稀疏方法（例如 SparseGPT）可以放大模型中现有的偏差，输出根据提示中的角色线索而显着变化。在本文中，我们介绍了 Debias-SparseGPT，这是一种 后训练 剪枝方法，它使用在人口统计对比输入上定义的二阶项来结合表征去偏差。我们在广泛的生成 LLM 上对我们的方法进行了实证验证。在模型和稀疏度范围（25%、50% 和结构化 2:4 稀疏度）中，与 SparseGPT 相比，Debias-SparseGPT 始终减少剪枝引起的偏差，同时保留模型复杂度和零样本精度。在限制性最强的 2:4 结构化稀疏模式下（这种模式会极大地降低模型质量），使用长上下文、内容丰富的示例来增强校准集可进一步提高下游性能和公平性。总体而言，Debias-SparseGPT 推进了偏差性能权衡，同时保留了稀疏模型的计算效率。