论文

InfraQR:对红外视觉语言模型的边缘放置 QR 启发的结构化补丁攻击

InfraQR: Edge-Placed QR-Inspired Structured Patch Attacks on Infrared Vision-Language Models

模型评测安全与风险评测

摘要

红外视觉语言模型越来越多地用于弱光和不利视觉条件下的感知,但其对局部结构扰动的鲁棒性仍未得到充分探索。现有的红外对抗研究主要集中在物体探测器上,而对红外视觉语言模型的安全性的系统研究较少。我们提出了 InfraQR,一种受 QR 启发的针对红外视觉语言模型的结构化补丁攻击。与将扰动附加到目标对象的局部攻击不同,InfraQR 沿着图像边界放置紧凑的结构化补丁,并通过代理 CLIP 式编码器优化可学习的网格单元。生成的补丁具有接近二进制结构的外观,但不需要是有效或机器可读的 QR 码。我们在红外分类、图像描述传输和问答感知视觉问答 (VQA) 任务上评估 InfraQR。在 300 张图像红外基准测试中,InfraQR 大幅降低了多个 CLIP 式分类器的准确性,包括将 OpenAI CLIP 准确性从 98.67% 降低到 0.70%。生成的对抗性图像还会传输到黑盒图像描述和 VQA 模型,导致图像描述语义退化,并且在基于 GPT-5.4 的评估下答案更容易出错。这些结果表明,红外视觉语言模型仍然容易受到结构化边缘扰动的影响,这激发了对直接对象遮挡之外的跨任务鲁棒性的进一步研究。