对即时概念分割的通用交叉提示对抗性攻击

Segment Anything Model (SAM) 在视觉分割方面取得了显着的性能。最新的 SAM3 将即时分割扩展到概念级预测，扩大了分割基础模型的范围。虽然最近的研究表明 SAM 和 SAM2 容易受到对抗性示例的影响，但 SAM3 在概念分割范式下的鲁棒性仍有待探索。此外，现有对 SAM 系列模型的对抗性攻击表现出有限的交叉提示可转移性。为此，我们提出了AdvPCS，一种针对提示概念分割（PCS）的通用交叉提示对抗攻击，包括最小-最大提示优化策略、全局-局部感知欺骗攻击和时间转换偏差攻击。具体来说，我们首先通过最小-最大双层优化来识别最难攻击的提示。在内部最大化中，我们增强了候选点、框和文本提示的多样性。在外部最小化中，我们根据检测器输出的置信度分数选择响应最高的提示。给定选定的提示，我们应用感知欺骗攻击来最小化联合提示下的全局和局部存在概率，并使用时间记忆错位攻击来最大化帧间语义不一致和损坏的内存指针。对四个基准数据集的广泛实验表明，我们的方法生成的单个通用对抗扰动（UAP）可以泛化不同视频的帧，并在点、框和文本提示下实现强大的攻击性能。尤其是在文本提示下，将SA-CO数据集上各种PCS模型的平均mIoU降低到5%以下，展现出强大的攻击能力。