RegRet：增强大型多模态模型中的区域级检索

区域级检索旨在将用户指定的图像区域与相关区域或文本描述对齐，在电子商务产品搜索和 RAG 等现实应用中发挥着至关重要的作用。尽管最近的大型多模态模型（LMM）在多模态检索方面取得了重大进展，但它们主要关注全局级任务，并且难以捕获有效的区域级表示。为了弥补这一差距，我们提出了 RegRet，这是一种基于 LMM 的区域级检索框架，可以在不影响整体全局检索性能的情况下增强区域表征。 RegRet 的核心集成了区域感知编码器来捕获详细的区域特征，同时将它们与全局背景上下文进行平衡。为了进一步增强对表示的细粒度理解和辨别能力，我们设计了一个多阶段训练流程，其中包括详细的本地化字幕和区域对比学习任务。此外，考虑到缺乏区域级对比训练数据以及当前基准中评估任务的多样性有限，我们引入了 REGMB 基准。它包含 225k 个对比对，涵盖四个多模态检索任务。大量的实验验证了我们方法的有效性。 RegRet 在零样本设置中优于强基线。通过对比学习进行进一步训练，可以在 REGMB 和公共基准上平均提高 20% 以上，同时在全局级检索任务上实现可比或更好的结果。