MarKey：用于长视频理解的边际效用引导贪婪关键帧选择

对于多模态大语言模型（MLLM）来说，长视频理解仍然具有挑战性，因为密集编码长帧序列的计算成本很高，而有限视觉预算下的均匀采样可能会错过稀疏但决定性的证据。最近的免训练关键帧选择方法已经实现了更有效的推理并产生了有希望的性能提升。然而，许多现有方法很大程度上孤立地对帧进行评分，而没有明确考虑每个候选者如何补充当前选择的子集，可能导致冗余选择和不完整的证据覆盖。为了解决这个限制，我们提出了 MarKey，一个免训练的框架，它将关键帧选择制定为子集感知的贪婪优化。在每次迭代中，MarKey 使用易于处理的代理对每个候选进行评分，该代理共同考虑查询相关性、边际覆盖增益和上下文相关冗余，并选择具有最高效用的框架。为了使这种迭代子集感知评估变得高效，MarKey 使用一组紧凑的代表性锚点来近似整个视频覆盖范围，并使用先前选择的帧的有界窗口来限制上下文相关的比较。对涵盖整体视频理解、以人为中心的视频理解和开放式视频理解的六个基准进行的实验表明，MarKey 始终优于现有方法。进一步的分析显示了不同 MLLM 主干、模型规模和框架预算的强劲收益。