Tex3D：通过视觉-语言-动作模型的对抗性 3D 纹理将对象作为攻击面

视觉-语言-动作（VLA）模型在机器人操作方面表现出了强大的性能，但它们对物理上可实现的对抗性攻击的鲁棒性仍有待探索。现有研究通过语言扰动和 2D 视觉攻击揭示了漏洞，但这些攻击面要么不太能代表实际部署，要么在物理现实性方面受到限制。相比之下，对抗性 3D 纹理会带来物理上更合理且更具破坏性的威胁，因为它们自然地附着在被操纵的对象上，并且更容易在物理环境中部署。然而，将对抗性 3D 纹理引入 VLA 系统并非易事。一个主要障碍是标准 3D 模拟器不提供从 VLA 目标函数返回到对象外观的可微优化路径，因此很难通过端到端方式进行优化。为了解决这个问题，我们引入了前景-背景解耦（FBD），它可以通过双渲染器对齐实现可微分的纹理优化，同时保留原始的模拟环境。为了进一步确保攻击在物理世界的长期和不同视角下保持有效，我们提出了轨迹感知对抗优化（TAAO），它优先考虑行为关键帧并通过基于顶点的参数化稳定优化。基于这些设计，我们推出了 Tex3D，这是第一个直接在 VLA 模拟环境中端到端优化 3D 对抗纹理的框架。模拟和真实机器人设置中的实验表明，Tex3D 显着降低了多个操作任务中的 VLA 性能，任务失败率高达 96.7%。我们的实证结果暴露了 VLA 系统面对发生在物理环境中的 3D 对抗性攻击的关键漏洞，并强调了鲁棒性感知训练的必要性。