DCP-Prune：具有分布一致性保护的超低词元剪枝

最近的视觉词元修剪方法在中等 词元预算 下有效地保留了模型性能，但在超低 词元预算 下变得不稳定。我们的分析表明，随着修剪预算的减少，准确性下降通常伴随着更大的特征分布变化。至关重要的是，这种分布变化的程度与性能下降密切相关。为了更好地描述这种现象，我们引入了一种轻量级分布一致性指标来估计保留词元和完整词元之间的分布变化。受这些观察的启发，我们提出了一个由锚上下文图恢复（ACGR）和文本感知词元集群选择（TATCS）组成的两阶段修剪框架。具体来说，ACGR 在词元删除之前传输上下文信息，而 TATCS 在检测到严重的分配偏移时动态地重新选择代表性词元。大量实验表明，我们的方法在超低 词元预算 下实现了优越且更稳定的性能。值得注意的是，它仅用 16 个视觉标记就保留了 LLaVA-1.5-7B 上界平均性能的 92.1%。