论文
REVERSE:加强证据验证和代理图像地理定位搜索
REVERSE: Reinforcing Evidence Verification and Search for Agentic Image geo-localization
摘要
图像地理定位旨在确定照片的拍摄地点,这项任务通常需要的不仅仅是识别可见地标。人类专家通常通过迭代工作流程来解决这个问题:他们检查信息区域,形成位置假设,寻求外部证据,并在新线索出现时修改他们的判断。现有方法仅部分捕获了这一过程:直接预测方法完全绕过了证据获取,而检索增强方法引入了外部证据,但通常对搜索位置、如何查询以及如何过滤噪声结果等中间决策提供有限的监督。我们提出了 REVERSE,一个加强证据搜索和验证之间相互作用的框架,以实现多轮代理推理。 REVERSE 教授三个中间决策:在哪里查看、查询什么以及信任哪些证据。为了支持这一点,我们构建了带有注释区域选择、搜索观察和地理信息证据标签的基于工具的轨迹,并引入了视觉基础、查询效用和证据辨别的过程奖励。离线搜索缓存使检索观察在强化学习过程中稳定且可重用,从而能够对嘈杂的搜索结果进行密集监督。借助 4B 模型,REVERSE 的性能优于强大的检索增强基线,并且可与 Im2GPS3k 和 YFCC4k 上更大的模型相媲美。代码可在 https://github.com/yonglleee/REVERSE 获取。