用于图像检索的聚合邻居嵌入投影和基于排序的流形学习

基于内容的图像检索 (CBIR) 通过深度学习取得了显着进步，但有效地对相似图像进行排名仍然具有挑战性，特别是在高维特征空间中，其中成对距离通常无法捕获上下文关系，并且视觉特征和高级概念之间的语义差距仍然存在。流形学习和基于排名的细化方法已经作为补充策略出现，分别改进特征表示和利用排名列表中嵌入的上下文信息，例如图像之间的邻域关系。然而，结合这些基于预测和基于排名的策略来利用它们的互补特性仍然是一个具有挑战性的研究问题。为了解决这个问题，我们提出了一个框架，通过排名聚合将邻居嵌入投影与基于排名的流形学习相结合。统一流形逼近和投影 (UMAP) 生成替代的低维特征表示，并使用 Borda Count 聚合策略组合从 UMAP 投影和基于排名的重新排名方法获得的排名列表。使用从 ResNet152、Swin Transformer 和 DINOv2 模型中提取的深度学习特征在多个公共数据集上进行了实验。结果表明，所提出的方法提高了多种场景下的检索效率，特别是当基线表示难以实现高精度时。聚合策略通常还可以提高排名靠前的位置的质量，从而在不同数据集和特征提取器中产生具有竞争力的平均精度 (MAP) 和精度值。这些发现表明，通过排名聚合将基于投影和基于排名的流形学习策略相结合，可以为图像检索任务提供补充的上下文信息。