ERA：熵引导的视觉词元修剪和纠正注意力以实现高效的 MLLM

由于较长的视觉标记序列，多模态 大语言模型 (MLLM) 会产生过高的推理成本。 无需训练视觉词元缩减提供了一种高效的解决方案。然而，现有的方法扭曲了注意力分布，导致了我们称之为“注意力 logits 崩溃”的现象。为了解决这个问题，我们提出了 ERA，一种熵引导的视觉标记修剪框架，具有纠正注意力机制，可实现高效的 MLLM。具体来说，ERA 包含三个关键组件：双视图熵修剪 (DEP)、偏差感知词元回收 (BTR) 和 logits 保留注意力纠正 (LAR)。首先，DEP 通过联合建模视觉多样性和头部显着性来识别代表性锚标记。然后，BTR 将修剪后的词元回收到相应的锚中，同时估计集群级别的 logits 偏差。在此基础上，LAR 将估计偏差注入到注意力 logits 中，有效纠正了词元减少引起的崩溃。这些组件一起，即使在剧烈压缩的情况下也能保留视觉证据，从而在各种 MLLM 上的单图像、多图像和视频设置中实现强大的性能。除了提供实际加速之外，ERA 还建立了保留 logits 的视觉词元修剪作为高效 MLLM 的原则框架，统一了理论基础、算法设计和实际部署。代码位于 https://github.com/924973292/ERA。