同一枚硬币的两面：视觉语言模型跨任务攻击的共同进化搜索

视觉语言模型（VLM）在多模态任务中表现出很强的泛化能力，但仍然容易受到对抗性扰动的影响。现有的攻击通常遵循单轨迹梯度优化或特定于任务的目标，限制了搜索空间探索和跨任务可转移性。我们提出了一种用于统一 VLM 的进化计算引导的跨模式攻击框架。该框架自适应地搜索文本和视觉空间。在文本方面，它围绕源类别表示演化出硬否定语义嵌入，以提供不同的跨模态排斥。在视觉方面，它维护了一组对象区域扰动，并将基于动量的梯度更新与进化选择、突变和交叉相结合，以更可靠地探索多个可行的轨迹。联合优化语义负面指导和局部扰动会生成对抗性示例，这些示例能够在视觉语言任务中一致地将源对象语义转向目标类别。理论分析表明，与单轨迹优化相比，协同进化搜索保留了扰动的可行性，防止了最佳观察适应度的退化，并增加了到达高利润对抗区域的概率。 Florence-2、OFA 和 UnifiedIO-2 上的实验表明，在图像描述、对象检测、区域分类和对象定位方面具有强大的整体攻击性能。消融研究进一步验证了文本侧语义演化和图像侧扰动演化的互补有效性，以及框架的效率和跨任务可迁移性。