论文

MINER:使用 Frozen 双编码器增强稀有物体检索的多作物推理时间

MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders

摘要

当查询在混乱的场景中命名一个小的、视觉上从属的对象时,使用冻结双编码器的文本到图像检索就会降级:单个全局图像嵌入不能充分代表局部视觉证据。我们提出了 MINER,这是一种免训练的推理框架,它通过一小部分区域级嵌入和中心校正相似性重新评分来增强冻结双编码器的全局图像嵌入,从而恢复全局池权重不足的视觉证据。为了评估此设置,我们引入了 ROCS,这是一个由 Flickr30K 和 MS COCO 的高杂波子集构建的基准,其图像被重新标题以命名单个低显着性对象。 CLIP、SigLIP 和 SigLIP 2 上的实验表明,MINER 改进了每个骨干网、ROCS 和标准分割上的检索。分析表明,这些收益主要来自更广泛的空间覆盖范围,而不是精确的作物放置,揭示了一种从冻结的表征中恢复局部证据的简单而通用的方法。代码:此 https URL。数据集:此 https URL。