PerturBot：用扰动训练打破视觉-语言-动作模型中的捷径先验

视觉-语言-行动 (VLA) 策略可以完成复杂的任务，同时忽略应决定其行动的证据。靠近腕式摄像头的物体可能会取代指示的目标。语言和动作表现出相同的模式：即使动词发生变化，一个熟悉的名词也可以触发它在训练中配对的操作，而一个没有任何东西闭合的抓手无论如何也可能会抬起。我们将这些依赖关系称为模态捷径：成功演示中的规律性使得视觉、词汇或运动线索足以预测专家的行为，而无需底层决策所需的任务证据。更多同类演示可以提高任务成功率，同时保持这些快捷方式完好无损。我们提出 Perturbot，它使任务相关的证据更容易使用，而捷径本身还不够：它应用保留任务的手腕视图扰动，通过与决策相关的标题丰富指令，并添加随机和失败的轨迹段，并用它们包含的行为重新标记。它通过改变缩放的内容来补充缩放，并且保持推理不变。此外，我们提出了 GroundingFscore，这是一种离线评分，可以诊断策略对模态快捷方式的依赖程度。 任务成功率比率显示策略是否有所改进，而 GroundingFscore 则显示策略是否可以健康地扩展，依赖于任务证据而不是捷径。 Perturbot 和 GroundingFscore 共同提供了一个训练和评估框架，用于将VLA决策与捷径先验分开，同时保持对任务相关证据的响应能力。