对机器人视觉语言动作模型的部分可观察对抗性补丁攻击

视觉-语言-动作（VLA）模型在机器人领域越来越受到关注，但它们对对抗性攻击的鲁棒性在很大程度上仍未得到探索。现有的工作表明，对抗性补丁可能会误导基于 VLA 的机器人，但假设完全访问整个执行轨迹，这在实践中是不切实际的要求。我们通过制定部分可观察的威胁模型来解决此限制，其中对手只能利用轨迹的短前缀来生成应用于所有后续帧的固定补丁。在此背景下，我们提出了一个两阶段框架。首先，我们使用模型的注意力图来定位补丁，以识别与完整指令相对应的视觉关键区域。然后，我们优化补丁以破坏目标对象的语义基础并增加动作轨迹的曲率，从而加剧感知和控制方面的失败。在模拟和现实世界的机器人环境中进行的大量实验表明，我们的方法在部分可观察性下维持对抗性效应，导致长期干扰并显着降低任务成功率。