SAM3 图像分割的通用概念颠覆

SAM3 将即时分割从几何驱动的掩模预测扩展到开放词汇概念分割，其中文本条件基础模型决定概念是否存在并分割所有匹配的实例。虽然这种存在门控设计改进了概念级预测，但其对抗鲁棒性仍未得到探索。在本文中，我们介绍了通用概念破坏（UCD），这是第一个针对 SAM3 图像分割量身定制的通用跨概念对抗攻击。 UCD 从（图像、名词短语）对中学习单个有界图像扰动，并将 SAM3 作为集成概念基础系统进行攻击。它共同破坏了文本条件输入路径，最大化提示共享视觉特征的分歧，抑制最终的存在门控概念分数，并通过区域崩溃和干净掩模骰子破坏破坏保留掩模的空间有效性。在 SACo-Gold、LVIS、RefCOCO、PhraseCut 和 OpenImages 数据集中，UCD 在匹配的评估协议下始终优于所有基线，将平均掩模 AP 从 59.43 降低到 18.73，平均 cgF1 从 50.32 降低到 20.49。学习到的扰动还会转移到 SAM3.1 和 SAM3 视频推理，而无需重新优化，而即时集成、轻量级头 微调 和时间过滤提供有限的恢复。