实例先验有助于弱监督语义分割吗？

语义分割需要密集的像素级注释，获取这些注释既昂贵又耗时。为了解决这个问题，我们提出了 SeSAM，这是一个使用基础分割模型的框架，即分段任意模型 (SAM)，具有弱标签，包括粗略掩模、涂鸦和点。 SAM最初是为基于实例的分割而设计的，不能直接用于语义分割任务。在这项工作中，我们确定了 SAM 面临的具体挑战，并确定适当的组件以使其适应使用弱标签的基于类别的分割。具体来说，SeSAM 将类掩码分解为连通组件，沿着对象骨架采样点提示，使用弱标签覆盖选择 SAM 掩码，并使用伪标签迭代细化标签，使 SAM 生成的掩码能够有效地用于语义分割。 SeSAM与半监督学习框架集成，平衡了真值标签、基于SAM的伪标签和高置信度伪标签，显着提高了分割质量。跨多个基准和弱注释类型的广泛实验表明，SeSAM 始终优于弱监督基线，同时相对于精细监督大幅降低了注释成本。