论文

覆盖范围很重要:用于压缩多向量视觉文档的 MarginMerge 检索器

Coverage Matters: MarginMerge for Compressing Multi-Vector Visual Document Retrievers

摘要

ColPali和ColQwen等多向量视觉文档检索器通过存储细粒度的补丁嵌入来实现强大的检索,但这会产生较大的索引和昂贵的后期交互评分。我们认为,有效的压缩应该保留与查询相关的覆盖范围,这意味着不同的文档区域可能成为跨查询最强的 MaxSim 匹配,而不是通过显着性独立选择补丁。此视图还解释了为什么密集渲染的页面比自然图像更容易压缩。我们介绍 MarginMerge,一种冻结多向量 检索器 的压缩方法。它选择覆盖范围感知的锚点,对文档补丁进行集群,并使用轻量级共享网络来合成每个集群的一个代表。索引期间执行一次压缩,而检索则保留标准 MaxSim 接口。在 ColQwen2.5 和 ColPali 上的六个数据集上,MarginMerge 在 5% 和 10% 的矢量保留率上实现了最高的匹配查询不可知平均值。与使用相同主干的未压缩索引相比,它保留了平均 nDCG@5 的 97% 到 99%,同时将存储的文档向量减少了 90% 到 95%。在保留率为 5% 的情况下,它还可以将所有六个 ColQwen2.5 数据集上相对于几何合并的排名翻转平均减少约 41%。相同的模型无需重新训练即可转移到未见过的数据集和保留率。