结构感知的鲁棒 微调：保护视觉-语言-动作机器人免受物理注意力劫持

视觉-语言-动作（VLA）策略承诺进行通用的机器人操作，但它们针对物理世界攻击的鲁棒性仍然脆弱。特别是，我们表明，物理上可实现的对抗性补丁可以通过触发我们称为策略关键行动到视觉注意力劫持的机制来可靠地引发失败，其中行动条件注意力从任务相关区域转移到局部补丁。为了证明这种威胁，我们提出了注意力引导语义破坏（AGSD），这是一种期望高于转换（EOT）优化的可打印补丁，它共同（i）将动作到视觉的注意力集中在补丁上，（ii）破坏视觉语言语义对齐，产生强大的跨任务和跨架构传输。为了减轻此类攻击，我们引入了结构感知鲁棒 微调 (SARF)，这是一种零推理开销防御，它仅使用特征锚定、策略关键注意校正和仅限于语义相关区域的语言引导几何一致性来微调视觉编码器。在 LIBERO 上，SARF 将 AGSD 下 OpenVLA 的失败率从 100% 降低到 14.2%-56.8%（平均 28.6%），同时保持干净的性能，而在真正的 PiPER 机械臂上，它将 AGSD 下的平均成功率从 23.0% 提高到 65.0%。这些结果强调了机制级鲁棒性是保护 VLA 机器人免受物理注意力劫持的实用途径。