当表面说谎时：利用皱纹引起的注意力转移来攻击视觉语言模型

视觉语言模型 (VLM) 在各种任务中表现出了卓越的跨模式理解能力，包括零样本分类、图像字幕和视觉问答。然而，它们对物理上合理的非刚性变形（例如柔性表面上的皱纹）的鲁棒性仍然知之甚少。在这项工作中，我们提出了一种受三维织物皱纹力学启发的参数结构扰动方法。具体来说，我们的方法通过构建多尺度皱纹场并将位移场畸变与表面一致的外观变化相结合来生成逼真的非刚性扰动。为了实现视觉自然度和对抗有效性之间的最佳平衡，我们在低维参数空间中设计了分层适应度函数，并采用基于优化的搜索策略。我们使用两阶段框架评估我们的方法：首先在零样本分类代理任务上优化扰动，然后评估生成任务的可转移性。实验结果表明，我们的方法显着降低了各种最先进的 VLM 的性能，在图像字幕和视觉问答任务中始终优于基线。