对视听推理的跨模式印刷攻击的系统研究

随着视听多模态 大语言模型 (MLLM) 越来越多地部署在安全关键型应用中，了解其漏洞至关重要。为此，我们引入了多模式印刷术，这是一项系统研究，研究跨多种模式的印刷攻击如何对 MLLM 产生不利影响。虽然之前的工作主要集中在单模态攻击上，但我们暴露了 MLLM 的跨模态脆弱性。我们分析了音频、视觉和文本扰动之间的相互作用，并揭示了协调的多模态攻击比单模态攻击产生了更强大的威胁（攻击成功率 = $83.43\%$ vs $34.93\%$）。我们在多个前沿 MLLM、任务以及常识推理和内容审核基准上的研究结果表明，多模态排版是多模态推理中关键且尚未充分开发的攻击策略。代码和数据将公开。