节食你的 LLM：通过合并特定于任务的重要性分数对 LLM 进行维度全局修剪

大语言模型（LLM）展示了卓越的能力，但其庞大的规模给实际部署带来了重大挑战。结构化修剪通过删除整个维度或层提供了一种有前途的解决方案，但现有方法面临着关键的权衡：任务无关的方法无法适应特定于任务的要求，而任务感知方法需要昂贵的训练来学习任务适应性。我们提出了 DIET（通过合并任务重要性得分对 LLM 进行维度全局剪枝），这是一种 无需训练 结构化剪枝方法，它将维度级粒度与任务感知选择相结合。 DIET 在每个任务中仅使用 100 个样本来分析跨任务的激活强度，然后应用多数投票来构建单个全局掩码。 DIET 不需要大量的预计算或训练成本。使用 Gemma-2 2B 和 9B 模型对七个零样本基准进行的实验证明了 DIET 的有效性；例如，与之前最先进的结构化修剪方法相比，在 Gemma-2 2B 上的稀疏度为 20% 时，DIET 的平均准确度提高了近 10%。这一优势在各种稀疏级别和模型尺度上都持续存在，使 DIET 成为结构化 LLM 修剪的实用且稳健的选择。