对抗文本噪声和冗余：熵感知的密集视觉标记修剪

视觉标记修剪是通过压缩冗余图像块来加速 VLM 的关键策略，但现有方法通常无法在密集指令和细粒度查询下保留关键线索。在本文中，我们调查了这一失败并确定了两个潜在的瓶颈：文本噪声的广泛分散破坏了密集的跨模式评分，以及标准标记选择固有的特征碎片。为了解决这些问题，我们提出了熵感知密集剪枝（EADP），这是一个将剪枝重新表述为结构化压缩问题的框架。 EADP 首先利用统计熵来量化和过滤文本噪声，从而产生稳健、细粒度的指令相关性得分。随后，EADP 不再采用朴素的 Top-K 选择，而是将标记选择视为具有空间先验的子模最大化问题，明确确保整体且非冗余的视觉表示。大量实验表明，EADP 改善了 VLM 的准确性与效率权衡，在严格的 词元预算 下稳健地保留细粒度的视觉线索，同时在具有挑战性的多模态基准上实现 SoTA 性能。