论文
GeoRouter:全球图像地理定位的动态范式路由
GeoRouter: Dynamic Paradigm Routing for Worldwide Image Geolocalization
摘要
全球图像地理定位旨在预测地球上任何地方捕获的图像的精确 GPS 坐标,但由于视觉和地理多样性的原因,这具有挑战性。最近的方法主要遵循两种范例:将查询与参考数据库进行匹配的基于检索的方法,以及使用大型视觉语言模型(LVLM)直接预测坐标的基于生成的方法。然而,我们观察到它们之间存在不同的错误概况:检索擅长细粒度实例匹配,而生成则提供强大的语义推理。这种互补的异质性表明,没有任何单一范式是普遍优越的。为了利用这种潜力,我们提出了 GeoRouter,这是一种动态路由框架,可以自适应地将每个查询分配给最佳范例。 GeoRouter 利用 LVLM 主干来分析视觉内容并提供路由决策。为了优化 GeoRouter,我们引入了距离感知偏好目标,将范式之间的距离差距转换为连续的监督信号,明确反映相对性能差异。此外,我们构建了 GeoRouting,这是第一个为训练具有独立范式预测的路由策略而定制的大规模数据集。 IM2GPS3k 和 YFCC4k 上的大量实验表明,GeoRouter 的性能显着优于最先进的基线。