论文

藏于无形:基于扩散的视觉-语言-动作(VLA)模型无约束机器人攻击

Hidden in Plain Sight: Diffusion-Based Unrestricted Robotic Attacks on Vision-Language-Action Models

模型评测安全与风险评测

摘要

视觉-语言-动作(VLA)模型在控制机器人执行多种操作任务方面展现出强大能力。然而,其对抗鲁棒性仍在很大程度上未被充分探索,利用这一弱点可能造成物理世界的伤害。现有对VLA模型的攻击通常依赖像素空间扰动或白盒访问,导致明显的伪影,且在真实机器人系统中部署性受限。在这项工作中,我们提出DURA,一种基于扩散的无约束机器人攻击,可为VLA模型生成视觉上自然的对抗补丁。DURA同时支持白盒和黑盒攻击设置,其中黑盒设置仅需受害模型的预测动作。通过沿预训练扩散模型的潜轨迹进行优化,DURA在生成视觉自然补丁的同时将机器人引向攻击者指定的目标动作。在仿真和真实物理世界中的大量实验表明,DURA持续超越现有方法。我们的发现揭示了物理部署的VLA模型的安全风险,并呼吁更强的防御。

藏于无形:基于扩散的视觉-语言-动作(VLA)模型无约束机器人攻击:论文配图
图1:针对VLA机器人(“拿起杯子”)的无限制补丁攻击示意。上:传统噪声补丁会使机械臂停滞,但十分显眼且仅限白盒。下:我们的DURA补丁在使机械臂停滞的同时,视觉上自然、可黑盒部署且语义一致。