重要的储备：通过可微子集采样学习半结构化稀疏性

半结构化 $N$:$M$ 稀疏性已成为加速 大语言模型 (LLM) 的实用方向。然而，现有的可学习掩模方法会产生大量参数和内存开销，限制了它们对大型模型和激进稀疏机制的可扩展性。在这项工作中，我们从协调效率与可扩展性的角度重新审视半结构化剪枝。我们提出了 Reservoir of Importance (RoI)，这是一种轻量级的半结构化剪枝框架，可通过可微分子集采样来学习稀疏掩模。与之前对所有可行的 $N$:$M$ 模式进行完整分类分布建模的方法不同，RoI 引入了用于稀疏掩码学习的紧凑 logits 参数化，并执行采样而无需替换来选择掩码，从而将可训练参数从组合复杂度降低到 $\mathcal{O}({M})$。因此，RoI 需要的可学习参数减少 1.5-8.75$\times$，显着降低内存成本，同时保持与硬件友好的稀疏模式完全一致。对 Qwen2.5 LLM 系列（0.5-7B 参数）的多个规模的广泛评估表明，RoI 凭借强大的内存效率、稳定性和可扩展性达到更积极的 $N$:$M$ 稀疏模式，从而实现了具有竞争力的性能，为高效 LLM 部署提供了一条实用途径。