UniGeo：用于文本引导的跨视图地理定位的多模式 大语言模型

文本引导的无人机地理定位旨在从自然语言描述中识别大型图像库中的目标区域。现有方法主要将该任务表述为开放式文本查询和候选图像之间的直接匹配。然而，不完整的查询和高度相似的候选者通常会使全局跨模式匹配不足以实现可靠的细粒度定位。我们提出 UniGeo，一种用于文本引导无人机地理定位的统一多模式 大语言模型 (MLLM)。 UniGeo 基于共享视觉语言框架构建，共同支持地理语义理解、跨视图语义生成和候选级验证。具体来说，它通过地理语义学习在局部场景元素、空间关系和语言描述之间建立稳定的对应关系，并通过交叉视图生成进一步对无人机和卫星视图之间的语义映射进行建模。基于这些功能，即插即用验证模块可以在高度容易混淆的候选者中进行细粒度的区分。我们进一步引入了多阶段训练策略，逐步学习地理语义理解、跨视图生成和候选验证，提高对文本引导地理定位的适应。实验证明了跨多个检索主干的一致改进。在 GeoText-1652 上，UniGeo 将 R@10 和 mAP 分别提高了 13.59 和 2.83 个百分点，验证了其细粒度文本引导无人机地理定位的有效性。