针对商业多式联运的隐蔽视觉提示注射 大语言模型

尽管多模式 大语言模型 (MLLM) 越来越多地部署在现实世界的应用中，但它们的指令跟踪行为使它们容易受到即时注入攻击。现有的提示注入方法主要依赖于人类用户可观察到的文本提示或可感知的视觉提示。在这项工作中，我们研究了针对强大的闭源 MLLM 的难以察觉的视觉提示注入，其中对抗性指令嵌入在视觉模态中。我们的方法通过有界文本覆盖自适应地将恶意提示嵌入到输入图像中以提供语义指导。同时，对难以察觉的视觉扰动进行迭代优化，以将受攻击图像的特征表示与粗粒度和细粒度级别的恶意视觉和文本目标的特征表示对齐。具体来说，视觉目标被实例化为文本渲染图像，并在优化过程中逐步细化，以更忠实地表示所需的语义并提高可转移性。跨多个闭源 MLLM 的两个多模态理解任务的广泛实验证明了我们的方法与现有方法相比具有卓越的性能。