针对长文档的非常高效的列表多模式重排序

列表重排序是长文档中以视觉为中心的检索和多模态检索增强生成 (M-RAG) 中的一个关键但计算成本昂贵的组件。虽然最近基于 VLM 的重新排序器实现了很高的准确性，但它们的实用性通常受到长视觉标记序列和多步自回归解码的限制。我们提出了 ZipRerank，一种高效的列表式多模式重排序器，可以直接解决这两个瓶颈。它通过轻量级查询图像早期交互机制减少输入长度，并通过在单个前向传递中对所有候选者进行评分来消除自回归解码。为了实现有效的学习，ZipRerank 采用两阶段训练策略：(i) 对呈现为图像的大规模文本数据进行列表预训练，以及 (ii) 使用 VLM 教师蒸馏的软排名监督进行多模式微调。 MMDocIR 基准测试的大量实验表明，ZipRerank 匹配或超越了最先进的多模式重新排序器，同时将 LLM 推理延迟降低了一个数量级，使其非常适合延迟敏感的现实系统。该代码可从 https://github.com/dukesun99/ZipRerank 获取。