Cut-ViT：通过革兰锚定子空间一致性进行特定于任务的模型修剪

修剪视觉基础模型引起了相当大的关注。然而，现有的方法侧重于在单个数据集上进行严格的点对点标记对齐以进行修剪，存在两个限制：i）鲁棒性下降，ii）任务特异性不足。为了解决这些限制，我们提出了一个特定于任务的修剪管道，名为 Cut-ViT。具体来说，我们首先从空间和语义角度构建gram锚定矩阵，并进行子空间分解以提取相应的子空间基。然后采用与基础无关的残差约束来沿着空间和通道维度对齐本机和修剪后的 DINOv3 模型之间的 gram 子空间，使子网络能够继承本机 DINOv3 的鲁棒特征表示。此外，我们设计了谱熵自适应，它量化了沿空间和通道维度的特征流形的信息密度，从而使修剪目标适应特定的下游任务。实验表明，与之前的方法相比，Cut-ViT 在单个 A100 GPU 上大约需要一分钟才能获得各种稀疏​​级别的子网络，仅使用 20.9% 的时间和 45.5% 的 GPU 内存，同时在跨 9 个数据集的 6 个任务上实现了 SOTA 性能。