IWP：词元剪枝作为大视觉语言模型中的隐式权重剪枝

大视觉语言模型在图像和视频理解任务中表现出令人印象深刻的性能，但其计算成本随着视觉标记数量的增加而迅速增长。现有的词元修剪方法通过经验方法缓解了这个问题，同时忽略了注意力的内部机制。在本文中，我们提出了一种基于双重形式注意力视角的新型 无需训练 词元修剪框架。我们将注意力重新表述为隐式线性层，其权重矩阵是 秩一外积之和，每个外积由单个 token 的键值对生成。因此，词元修剪简化为选择这些最接近原始对偶权重矩阵的 1 级更新的最佳子集。将这一观点扩展到 LVLM 中的标准 softmax 注意力，我们得出了一种量化词元信息量和信息重复的新颖指标。为了有效地选择具有所提出的指标的子集，我们引入了渐进分块最大边际相关性。大量的实验表明，我们的方法在性能和效率之间实现了更好的权衡，同时为现有的剪枝方法提供了另一个视角。