超越单轴测试：视觉-语言-行动策略中复合鲁棒性的配对评估

视觉-语言-行动策略通常一次评估一个扰动，从而对其对个体分布变化的敏感性提供有用的诊断。然而，现实世界的部署可能会同时涉及多个转变，并且目前还不清楚这些单独的鲁棒性测量是如何组成的。我们询问是否可以从单轴评估中推断出复合稳健性。我们引入了 LIBERO-CTRL，这是一种六轴基准测试，可将单轴条件下的每个初始状态与匹配的同时条件进行配对。这一设计揭示了两种对立的结果变化，而总成功率无法区分：紧急失败（所有单轴测试轨迹成功但联合扰动测试轨迹失败）和补偿成功（至少一个单轴测试轨迹失败但联合扰动测试轨迹成功）。由于一种转变会降低复合成功率，而另一种转变会增加复合成功率，因此它们可以取消，从而使总体复合性能看起来与单轴测量结果一致，即使个别结果存在很大差异。这些相反的转变总体上可以在很大程度上抵消：即使两个转变率之间的差异在统计上无法与零区分，多达 29.0% 的匹配初始状态仍然会改变结果。在六项政策和三个严重级别中，在受影响最严重的情况下，此类结果变化达到 34.5%。两种转变的相对普遍性因政策和严重程度而异，而在随机政策的独立重新评估下，转变率保持相似。因此，复合稳健性不能仅通过单轴总成功率来表征；需要匹配的每个实例评估来揭示关节扰动如何改变行为。