论文

VLAGuard:用于评估和减轻无线传感器网络中视觉-语言-动作机器人中的物理注意力劫持的框架

VLAGuard: A Framework for Evaluating and Mitigating Physical Attention Hijacking in Vision-Language-Action Robots within Wireless Sensor Networks

模型训练监督微调与指令调优

摘要

将视觉-语言-动作 (VLA) 机器人部署为无线传感器网络 (WSN) 中的移动边缘节点需要针对物理对抗威胁的强大保护。我们提出了 VLAGuard,这是一个评估和缓解关键漏洞的框架:政策关键行动到视觉注意力劫持。我们首先介绍一个压力测试模块,即视觉运动注意力引导语义攻击(VASA),它使用可打印的补丁来严重分散机器人的动作条件交叉注意力。为了解决这个问题,我们提出了注意力保护 微调 (APFT),这是一种稳定时空注意力并以零推理开销强制几何一致性的防御措施。对模拟和物理 WSN 辅助智能环境的评估显示出显着的鲁棒性增益。 APFT 在 LIBERO 模拟中将 OpenVLA 故障率从 100.0% 降低到 25.9%。此外,在 2,000 次实际试验中,APFT 在严重补丁攻击下将平均成功率从 23.0% 提高到 67.4%。这凸显了保护注意力路径对于提高传感器网络中 VLA 驱动的边缘节点的鲁棒性非常重要。