论文
ConceptSeg-R1:通过元强化学习分割任何概念
ConceptSeg-R1: Segment Any Concept via Meta-Reinforcement Learning
摘要
即时分割的最新进展已将视觉感知从对象级定位转变为概念级理解。然而,概念的概念仍然不明确,使得目前的方法是否真正泛化到类别识别之外还不清楚。在这项工作中,我们通过由上下文无关(CI)、上下文相关(CD)和上下文推理(CR)概念组成的三级分类法形式化了广义概念分割,这揭示了随着认知复杂性水平的提高而存在的明显的能力差距。为了应对这一挑战,我们提出了 ConceptSeg-R1,这是一个统一的框架,它将概念分割重新表述为规则诱导的概念基础。我们方法的核心是 Meta-GRPO,这是一种元强化学习机制,可以从视觉演示中学习可转移的任务规则,并通过代理推理来验证它们。然后,推断的推理状态通过轻量级概念转换模块转换为可分割的概念提示,从而能够对目标图像进行演绎应用。快捷路由策略进一步保留了简单情况下分割模型的本机效率。为了系统地评估广义概念分割,我们在自然、工业、医学和推理密集型领域的不同 CI、CD 和 CR 概念分割基准上进行了广泛的实验。没有花里胡哨的东西,ConceptSeg-R1 在整个概念层次结构中实现了强大的性能,同时保持了及时分割主干的本机功能。作为分割任何概念的第一步,我们希望 ConceptSeg-R1 可以作为将分割从对象级预测推进到概念级理解的实用基线。