论文
推理是一把双刃剑:视觉-语言-动作模型中的架构和跨阶段稳健性
Reasoning as a Double-Edged Sword: Architecture and Cross-Stage Robustness in Vision-Language-Action Models
摘要
添加推理步骤是否会使视觉-语言-动作 (VLA) 模型对扰动更加鲁棒?直观地说,在行动之前进行推理的政策应该比将观察结果直接映射到行动的政策更好地吸收扰动的输入。我们在跨越推理范围(无推理、文本思维链和潜在迭代循环)的三个模型中正面测试了这个前提,在 LIBERO 和 SimplerEnv 上的视觉、推理和行动阶段扰乱每个模型。有两个问题组织了这项研究:推理设计是否会改变鲁棒性,以及推理是否可以在运行时作为安全信号读回?我们发现潜在迭代模型是迄今为止最不稳健的:在随机噪声和白盒扰动下,其任务成功率崩溃,而其他两个模型则保持不变。这种脆弱性是结构性的,而不是累积性的:改变推理的推理深度几乎不会改变它。推理输出原则上可以被监控,但监控器在公平测试下会失败。在朴素评估下看起来近乎完美的计划-行动一致性探测在自适应攻击下却失败了。在匹配 FPR 校准下,将其与动作异常探测器融合永远不会将防御成功提升到不防御之上。针对白盒视觉阶段攻击下的这些输出级行为探测,这个上限是任何可行的防御必须首先满足的先决条件。