ROSE：面向检索的分割增强

基于多模态 大语言模型 (MLLM) 的现有细分模型（例如 LISA）经常因无法整合最新知识而难以处理新颖或新兴的实体。为了应对这一挑战，我们引入了新颖的新兴分割任务（NEST），其重点是分割（i）MLLM由于训练数据中不存在而无法识别的新颖实体，以及（ii）存在于模型知识范围内但需要最新外部信息才能准确识别的新兴实体。为了支持 NEST 的研究，我们使用自动化管道构建了 NEST 基准，该管道生成新闻相关的数据样本以进行综合评估。此外，我们还提出了 ROSE：面向检索的分割增强，这是一个即插即用的框架，旨在增强任何基于 MLLM 的分割模型。 ROSE 由四个关键组成部分组成。首先，引入互联网检索增强生成模块，以利用用户提供的多模式输入来检索实时网络信息。然后，文本提示增强器用最新信息和丰富的背景知识丰富模型，提高模型对新兴实体的感知能力。此外，还提出了一种视觉提示增强器，通过利用互联网来源的图像来弥补 MLLM 缺乏接触新实体的问题。为了保持效率，引入了 WebSense 模块来根据用户输入智能地决定何时调用检索机制。实验结果表明，ROSE 显着提高了 NEST 基准测试的性能，在 gIoU 方面比基于 Gemini-2.0 Flash 的强大检索基准高出 19.2。