论文

Region-R1:加强查询端区域裁剪以实现多模式重新排序

Region-R1: Reinforcing Query-Side Region Cropping for Multi-Modal Re-Ranking

上下文与知识检索增强

摘要

多模态检索增强生成(MM-RAG)在很大程度上依赖于重新排序器来呈现图像问题查询最相关的证据。然而,标准的重新排序器通常将完整的查询图像作为全局嵌入进行处理,这使得它们容易受到视觉干扰因素(例如背景杂乱)的影响,从而扭曲相似性分数。我们提出了 Region-R1,一个查询端区域裁剪框架,它将区域选择制定为重新排序期间的决策问题,允许系统在对检索到的候选进行评分之前学习保留完整图像或仅关注与问题相关的区域。 Region-R1 通过新颖的区域感知组相对策略优化 (r-GRPO) 来学习策略,以动态裁剪判别区域。在 E-VQA 和 InfoSeek 这两个具有挑战性的基准测试中,Region-R1 提供了一致的增益,通过将条件 Recall@1 提高高达 20% 来实现最先进的性能。这些结果显示了查询端自适应作为加强 MM-RAG 重新排序的简单而有效的方法的巨大前景。