论文
联合像素与提示优化的多模态资源耗尽攻击
Multimodal Resource-Exhaustion Attacks on Vision-Language Models via Joint Pixel-Prompt Optimization
摘要
针对自回归视觉语言模型 (VLM) 的资源耗尽攻击通常采用单峰威胁模型，将图像分支视为主要优化表面，同时保持用户可见的提示固定。即使最近的以循环为中心的变体仍然局限于这种单通道范例，使得可用性的利用未被探索为联合可控输入表面上的跨模式优化问题。我们引入了联合像素提示优化（JPPO），这是第一个复合对抗框架，将可见提示与图像扰动一起提升为一流的对抗变量。在受限联合输入威胁模型下，JPPO 对像素和提示表面执行耦合、分阶段优化。这会产生协同成本放大，在机制上与循环相关故障不同，在我们的实验中表现出可忽略不计的循环发生率。在 8/255 无限范数预算下评估 MS COCO 和 ImageNet 上的五个开源 VLM 系列时，JPPO 在 Qwen2.5-VL-7B 上实现了超过 4.6 倍的延迟和 5.3 倍的能量放大，在 BLIP-2 上实现了超过 36.6 倍的延迟和 32.7 倍的能量放大。这代表了直接比较的基线中最强的成本放大，同时需要更少的优化迭代。消融证实这种放大来自多模态协调，而不是提示长度或孤立模式。这些发现揭示了当前 VLM 服务防御中的结构性盲点，促使成本感知稳健性评估成为多模态部署的一流安全要求。
