权重剪枝放大偏差：针对边缘 AI 的压缩 LLM 的多方法研究

权重修剪被广泛提倡在资源受限的物联网和边缘设备上部署 大语言模型，但其对模型公平性的影响仍然知之甚少。我们对三种指令调整模型（Gemma-2-9b-it、Mistral-7B-Instruct-v0.3、Phi-3.5-mini-instruct）进行了一项受控实证研究，涉及三种修剪方法（随机、幅度、Wanda）、四个稀疏级别（10-70%）、12,148 个 BBQ 偏差基准项目和 5 个随机种子，总计 2,368,860 个推理记录。我们的结果揭示了一个智能剪枝悖论：激活感知剪枝（Wanda）几乎完美地保留了困惑度（对于 Mistral-7B，在 50% 稀疏度下仅增加了 3.5%），但产生了最高的偏差放大，刻板印象信赖分数增加了 83.7%，而之前无偏差项目在 70% 稀疏度下发展出新的刻板行为的 47-59%。随机修剪完全破坏了语言能力（困惑度超过 10^4$ 并达到 10^8$），但仅产生随机机会偏差。我们进一步表明，非结构化修剪在真正的边缘硬件上提供了零存储节省和零推理延迟减少，破坏了其在物联网部署中使用的主要动机。在 180 个密集与修剪比较中，141 个 (78.3%) 是显着的 ($p < 0.05$)，平均值为 $|h| = 0.305。已发表的量化研究报告称，高达 21% 的响应在有偏态和无偏态之间切换；我们的剪枝结果显示，转换率几乎高出三倍（47-59%），这表明剪枝对对齐造成的风险明显比量化更大。这些发现表明，基于困惑的评估提供了行为等效性的错误保证，并且物联网部署管道在边缘部署修剪后的模型之前需要进行偏差感知验证。