论文

GeoBridge:用于生成图像地理定位的解耦语义条件

GeoBridge: Decoupled Semantic Conditioning for Generative Image Geolocalization

应用与实践视觉感知与空间理解

摘要

多模态 大语言模型 (MLLM) 具有先进的图像地理定位功能,主要是通过改进它们对地理线索的推理方式。然而,如何将推理解码为坐标却已经落后了。地理编码 API 的地名预测是离散且有损的:它忽略图像证据并将多粒度语义折叠为粗略查找。我们认为,瓶颈已经从模型推理的内容转移到如何为连续的几何感知解码器表示推理。我们提出了 GeoBridge,一种角色解耦调节机制,它将冻结语义 MLLM 连接到冻结黎曼流匹配头,后者在球体上生成坐标。核心障碍是角色冲突:用离散语义标签来监督条件会使其表示偏向于类判别几何,这与生成头所需的平滑流形不一致。 GeoBridge 使语义监督与条件接口分离:一个单独的投影形成冻结头期望的连续条件,在不干扰球形解码器的情况下注入地理先验。在 IM2GPS3K 上,GeoBridge 在 25/200/750 公里阈值处达到 38.67/52.89/70.37,在这些精度相关尺度上改进了地名到 API 管道和推理增强直接预测。 GeoBridge 是解码端算法的贡献,与思维链推理正交且互补。代码将公开。