学习池化：用于灵活多向量压缩的轻量级 微调

后期的交互模型表现出了强大的泛化能力，通常优于更大的密集嵌入模型。它们广泛部署的一个挑战是它们为每个文档生成大量词元向量以及相关的存储和内存成本。在推理时池化标记已显示出减少向量计数的巨大前景，同时对检索精度的影响有限。大规模池化训练在高压缩率下表现出了更令人印象深刻的结果。我们提出轻量级 微调 作为一种实用的替代方案，并发现即使是使用 k 均值的最小池化感知训练也比仅推理池化产生了广泛的收益，显示了跨池化方法和数据集的转移证据，并且通过多因素训练生成了跨不同压缩级别有效的单一模型。我们最强大的模型在池因子 1-6 上优于 BEIR SciFact 上的非池化基线，这意味着矢量压缩率为 83%，且不影响检索准确性。