GeoSearch：通过网络规模反向图像搜索和图像匹配增强全球地理定位

全球图像地理定位旨在预测地球上任何图像的 GPS 坐标，但由于全球视觉多样性，该定位仍然具有挑战性。最近基于检索增强生成 (RAG) 和大型多模态模型 (LMM) 的生成方法利用从固定数据库检索的候选对象进行推理，但常常难以处理参考集中不存在的场景。在这项工作中，我们提出了 GeoSearch，这是一个开放世界的地理定位框架，它将网络规模的反向图像搜索集成到 RAG 管道中。 GeoSearch 通过数据库检索的坐标和从网页中提取的文本证据来增强 LMM 提示。为了减轻不相关内容的噪声，我们引入了一种两层过滤机制，包括图像匹配和基于置信度的门控。标准基准 Im2GPS3k 和 YFCC4k 上的实验证明了 GeoSearch 在泄漏感知评估下的优越性。我们的代码和数据是公开的，以支持可重复性。