LaMoC：大语言模型的损失感知模块化压缩

模块化压缩极大地减少了LLM的参数，同时保持了强大的语言理解和下游任务的准确性。然而，现有的联合模块化压缩方法主要依赖于激活统计，而丢失敏感性信息及其模块级表征尚未得到充分探索。我们研究使用 LaMoC 来解决这一差距，LaMoC 是一种损失感知模块化压缩方法，通过梯度误差对齐将激活和经验费希尔统计混合在一起。 LaMoC 通过选择压缩统计数据来改进联合压缩，这些统计数据可以更好地将局部模块重建误差与下游损失对齐。我们的贡献有三方面：（1）我们将经验费舍尔描述为模块级损失感知代理，可以与压缩所需的激活统计数据混合。 （2）我们将联合模块化压缩重新表述为一个两层优化问题，在调整激活和梯度信息混合率的同时最小化模块重建误差。 (3) 我们实施了一种具有统计验证的经验驱动方法来解决由此产生的压缩问题。我们评估了跨越八个模型的四个模型系列的 LaMoC。在 4-8B 模型上，与最先进的模块化压缩方法相比，LaMoC 的困惑度平均降低了 2.5%，任务准确性相对提高了 1%。