论文
IP-SAM:重新考虑即时条件分段以实现即时缺席部署
IP-SAM: Rethinking Prompt-Conditioned Segmentation for Prompt-Absent Deployment
摘要
提示条件基础分割器已成为图像分割的主导范例,其中显式空间提示(例如点、框、掩模)指导掩模解码。然而,许多现实世界的部署需要全自动分段,从而造成结构不匹配:解码器期望的提示在推理时不可用。现有的改编通常会修改中间特征,无意中绕过模型的本机提示界面并削弱提示条件解码。我们提出了 IP-SAM,它通过瞬发空间调节从瞬发空间的角度重新审视适应。具体来说,自提示生成器(SPG)将图像上下文提炼成互补的内在提示,作为粗略的区域锚点。这些提示通过 SAM2 的冻结提示编码器投射,无需外部干预即可恢复提示引导解码。为了抑制背景引起的误报,提示空间门控 (PSG) 在解码之前利用固有背景提示作为不对称抑制约束。在确定性无外部提示协议下,IP-SAM 仅用 2126 万个可训练参数就在四个伪装目标检测基准测试中实现了最先进的性能。此外,所提出的调理策略超越 COD 推广到医学息肉分割。