论文

Penny Wise,Pixel Foolish:通过视觉对抗扰动绕过多模式代理的价格约束

Penny Wise, Pixel Foolish: Bypassing Price Constraints in Multimodal Agents via Visual Adversarial Perturbations

模型评测安全与风险评测

摘要

多式联运 大语言模型 (MLLM) 的快速扩散使移动代理能够执行高风险的金融交易,但其对抗鲁棒性仍未得到充分探索。我们发现了视觉主导幻觉(VDH),即在基于屏幕截图的价格受限环境中,难以察觉的视觉线索可以覆盖文本价格证据,并导致Agent做出非理性决策。我们提出 PriceBlind,一种隐秘的白盒对抗攻击框架,用于受控的基于屏幕截图的评估。 PriceBlind 通过语义解耦损失来利用基于 CLIP 的编码器中的模态差距,将图像嵌入与低成本、与值相关的锚点对齐,同时保持像素级保真度。在E-ShopBench上,PriceBlind在白盒评估中实现了80%左右的ASR;在简化的单轮坐标选择协议下,Ensemble-DI-FGSM 在 GPT-4o、Gemini-1.5-Pro 和 Claude-3.5-Sonnet 上的传输速度约为 35-41%。我们还表明,强大的编码器和“先验证后采取行动”防御措施可显着降低 ASR,尽管会带来一些干净准确度的权衡。