论文

用于视觉文档检索的具有查询相关残差的测试时适应

Test-Time Adaptation with Query-Dependent Residuals for Visual Document Retrieval

摘要

视觉文档检索(VDR)系统依赖于部署前计算的页面嵌入,这使得当编码器参数或语料库重新编码不可用时适应变得困难。重新排序器提供有用的相关性信号,但传统的重新排序仅将它们应用于选定的查询和候选页面。我们引入了 Q-REACT,这是一种查询端测试时适应方法,可将有限的重排序器反馈转换为可重用的检索改进。 Q-REACT 学习一种共享的低秩转换,该转换会产生依赖于查询的残差,将调整后的查询分数与文档级上下文相结合,并通过在完整的任务特定页面索引上归一化的学生分布来提取重排序偏好。这种设计让未评分的页面通过缓存的嵌入进行竞争,同时保持编码器和页面索引固定。在八个 ViDoRe V3 任务和五个开放权重和专有主干中,Q-REACT 在稀疏和全覆盖预算下改进了评估基线的平均检索,转移到保留的查询和任务,并且几乎不增加推理开销。结果表明,有限的重排序器反馈可以在查询集合中摊销,而无需重新训练或重建检索器。