论文
超越分辨率:实例检索中的对象与图像比率不匹配
Beyond Resolution: Object-to-Image Ratio Mismatch in Instance Retrieval
摘要
当同一对象在查询和图库中以不同的表观大小出现时,视觉实例检索通常会失败。我们表明,主要原因通常不是分辨率损失,而是物体与图像(O2I)比率不匹配:物体占据两幅图像的不同部分。在以 5 个摄像机距离渲染的 3,021 个 Objaverse 对象的受控基准上,超过 80% 的跨距离退化归因于 O2I 不匹配,而不是 12 个预训练主干中的 9 个的分辨率;多尺度架构将仅分辨率的影响减少到个位数,但仍然同样容易受到影响。失败也是不对称的:紧密查询针对宽图库图像的检索比相反更可靠。在此分析的指导下,查询端规模增强和 OWLv2 裁剪重排序器在 ILIAS 100M 上达到了最先进的水平(重排序前为 29.2 mAP@1000,重排序后为 42.0),无需训练或修改预先计算的图库索引,并且 LoRA 微调可在单次前向传递中匹配查询端增益,表明 O2I 稳健性是可学习的。