Vis-Poison：多模态检索增强生成中毒害视觉知识

虽然多模态检索增强生成 (RAG) 系统越来越依赖图像作为外部知识源，但有毒视觉证据的引入可能会严重损害多模态 大语言模型 (MLLM) 生成。与之前依赖于改变文本元数据的攻击不同，我们引入了 Vis-Poison，这是一种新颖的视觉知识中毒攻击，其中中毒图像本身就是攻击者控制的有效负载，无需操纵标题、摘要、元数据或其他相关文本。具体来说，这种攻击是通过自动多代理方法实例化的，该方法构建视觉上合理的中毒图像。为了评估其影响，我们通过两个代表性的多模式 RAG 管道、四个嵌入模型和六代模型来评估 Vis-Poison。根据经验，Vis-Poison 在 \emph{black-box} 设置中针对 30k 条目多模态知识库实现了 40.16% 至 65.40% 的端到端攻击成功率。此外，Vis-Poison 对仅凭参数知识就能正确回答的各种 MLLM 仍然有效，平均成功率超过 60%。代码和数据可在 https://github.com/SWUFE-DB-Group/Vis-Poison 获取。