ETAPS以渐进剪枝和小预算稀疏适配维持极高稀疏度质量

权重剪枝可以降低大型语言模型 (LLMs) 的存储和推理成本，但在高稀疏级别下保持质量仍然具有挑战性。在这种情况下，现有方法面临着质量与成本的权衡。一次性剪枝成本低廉，但随着稀疏性的增加，即使随后进行剪枝后恢复，其性能也会急剧下降。相反，越来越多的工作在端到端目标下直接从稠密模型中优化掩码；在这些方法中，Lee 等人（2026）提出的最新最优方法在极端稀疏时能够保持高质量，但代价是模型大小的优化器状态和辅助变量。为了解决这一差距，我们提出了 ETAPS，它逐渐剪枝并稀疏适应：它在渐进阶段收紧全局稀疏性约束，同时用较小的固定预算训练稀疏增量。我们的主要观察结果是，逐渐的权重去除使每个剪枝步骤足够小，以便稀疏适应进行补偿，从而允许适应的模型提供端到端梯度，指导下一个剪枝决策，而无需模型大小的优化器状态。在从 125M 到 13B 参数的六个模型中，ETAPS 在 50%—90% 范围内每个被评估的稀疏度上都实现了比 ELSA 更低的困惑度，困惑度降低高达 42%。 ETAPS 也便宜得多：在稀疏度为 90% 的情况下，它在单个 H200 上剪枝 LLaMA2-7B，而 ELSA 使用四个，总持久状态规模为 ELSA 的 1/5，GPU 小时数减少了 49%。总之，我们的研究结果指出了一个有希望的方向，即以显著更低的成本在极端稀疏的条件下实现高质量。