论文
BaCP：骨干对比剪枝
BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
摘要
极稀疏的非结构化剪枝常发生表示坍缩，导致准确率骤降。为此我们研究骨干对比剪枝（BaCP）：通过把稀疏网络的嵌入空间与预训练、微调及历史快照模型对齐来正则化。基于CAP框架（Xu等，2022）的对比分解，我们在多种剪枝判据下对这一方法给出严格的匹配预算刻画。跨90个设置的评估显示，BaCP在标准剪枝失效的极稀疏区间大幅提升准确率，在表示完好时接近基线。